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H 要 词 嵌 入 是 自然 语言 处 理 的 一 项 基础 技术 。 其 核心 理念 是 根据 大 规模 语 料 中 词语 和 上 下 文 的 联系 ,使 
用 神经 网 络 等 机 器 学 习 算 法 自动 提取 有 限 维 度 的 语义 特征 ， 将 每 个 词 表示 为 一 个 低 维 稠密 的 数值 向 量 ( 词 向 
Z) 以 用 于 后 续 分 析 。 心 理学 研究 中 , 词 向 量 及 其 衍生 的 各 种 语义 联系 指标 可 用 于 探究 人 类 的 语义 加 工 、 认 
知 判 断 、 发 散 思 维 、 社 会 偏见 与 刻板 印象 、 社 会 与 文化 心理 变迁 等 各 类 问题 。 未 来 ,基于 词 亦 入 技术 的 心理 
学 研究 需要 区 分 心理 的 内 隐 和 外 显 成 分 , 深化 拓展 动态 词 向 量 和 大 型 预 训 练 语言 模型 (如 GPT、BERT) 的 应 用 ， 
并 在 时 间 和 空间 维度 建立 细 粒 度 词 向 量 数据 库 ， 更 多 开展 基于 词 谈 入 的 社会 变迁 和 跨 文 化 研究 。 我 们 为 心理 
学 专门 开发 的 及 语言 工具 包 PsychWordVec 可 以 帮助 研究 者 利用 词 谋 入 技术 开展 心理 学 研究 。 
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语言 是 人 类 文明 的 信息 化 载体 。 几 千年 来 ， (natural language processing，NLP) 技 术 的 发 展 和 
人 类 在 文明 演进 过 程 中 积累 了 海量 语言 文本 ， 其 成 熟 (Hirschberg & Manning，2015)， 越 来 越 多 的 
中 蕴含 着 大 量 人 类 心理 和 行为 信息 。 然 而 ， 直 到 研究 开始 探讨 蕴藏 在 人 类 语言 中 的 大 量 深 层次 的 
计算 机 技术 高 度 发 达 的 21 世纪， 人们 才 开 始 以 量 社会 、 心 理 和 行为 规律 (比如 个 人 主义 -集体 主义 
化 的 方式 利用 语言 文本 探究 人 类 社会 、 心 理 和 行 文化 心理 含义 的 变化 )。 在 自然 语言 处 理 的 诸多 技 
为 规律 (Chen et al., 2021; Jackson et al., 2022; N, WEA (word embedding) 是 日 前 发 展 较 成 
Lazer et al., 2009, 2020)。 早 期 的 相关 研究 主要 利 熟 、 应 用 较 广 泛 的 一 项 基础 技术 , 也 是 各 种 大 型 
用 语言 文本 数据 中 的 词 频 (word frequency) 等 信息 预 训 练 语言 模型 (pre-trained language model, PLM) 
考察 一 些 相 对 浅 层 的 心理 规律 (比如 个 人 主义 - 集 的 基石 。 自 社会 科学 领域 首 个 应 用 词 髋 入 技术 的 
体 主义 水 平 的 变化 )。 近 年 来 ， 随 着 自然 语言 处 理 开拓 性 研究 在 Science 发 表 以 来 (Caliskan et al., 
2017)， 其 在 心理 学 领域 的 应 用 如 雨 后 春 筹 ， 目 前 
仍 处 于 爆发 式 增 长 中 。 本 文 拟 全 面 整理 使 用 词 扔 
收 稿 日 期 : 2022-08-23 入 技术 的 心理 学 研究 , 在 厘清 现状 的 同时 ， 展 示 
* 国家 社会 科学 基金 重大 项 目 “ 中 国 社会 变迁 过 程 中 的 词 艇 入 作为 一 种 前 沿 的 心理 学 研究 方法 的 应 用 潜 
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dies dalli 有 研究 之 前 ,我们 首先 介绍 这 些 研究 的 共同 基础 : 
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1 词 嵌 入 技术 : 语义 向 量化 表征 和 语义 
关联 测量 ' 


作为 自然 语言 处 理 的 一 项 基础 技术 , 词 艇 入 
可 以 量化 表示 自然 语言 中 词汇 的 语义 ， 即 通过 特 
定 算法 对 语义 进行 向 量化 表征 ， 获 得 词 向 量 (word 
vector)， 从 而 为 后 续 的 智能 化 语言 处 理 和 分 析 提 
供 基础 。 基 于 词 般 入 对 语义 的 向 量化 表征 , 研究 
者 可 以 进一步 对 语义 共性 和 差异 进行 向 量化 表征 ， 
以 及 计算 不 同 词语 或 概念 之 间 的 语义 关联 程度 。 
FH, 我 们 将 围绕 这 三 个 方面 介绍 词 艇 入 技术 。 
1.1 ”从 “词语 "到 “向 量 ” 对 语义 的 向 量化 表征 

当 我 们 遇 到 一 个 生词 ， 想 知道 它 的 含义 ， 一 
种 方法 是 通过 查 词典 直接 了 解 词义 , 男 一 种 方法 
是 通过 该 词 在 特定 语 境 中 的 使 用 情况 (特别 是 它 
和 上 下 文 的 关系 ) 推 测 词义 。 目 前 ,基于 大 规模 语言 
文本 ,计算 机 对 语言 的 理解 主要 基于 后 一 种 方法 ， 
即 通过 某 个 词 的 语 用 ( 词 与 上 下 文 的 关系 ) 表 征 这 
个 词 的 含义 , 这 就 是 所 谓 的 “ 语 用 即 语义 ”。 不 过 ， 
计算 机 能 够 处 理 的 是 向 量化 的 语义 表征 , 即 词 向 量 。 

词 向 量 的 发 展 经 历 了 从 简单 到 复杂 、 从 静态 
到 动态 、 从 机 械 到 智能 的 过 程 。 研 究 者 先后 提出 
了 三 种 基于 数值 向 量 的 词汇 表征 方式 (word 
representation): 独 热 表 示 、 分 布 表示 、 词 能 人 表示 。 

独 热 表示 ( 独 热 编 码 ，one-hot encoding) 将 词 
表 中 的 NW 个 词 依次 表示 为 一 个 N 维 数值 向 量 , 每 
个 词 向 量 只 有 一 个 维度 的 值 为 1， 剩余 为 0。 独 热 
表示 只 能 简单 区 分 词语 ,无 法 表征 语义 ， 而且 其 
高 维 、 稀 玻 的 特点 容易 导致 "维度 灾难 ”。 为 了 克 
服 这 些 局 限 ， 研 究 者 提出 了 词 的 分 布 表示 
(distributional representation): 一 个 词 的 语义 很 大 
程度 由 上 下 文 决 定 ， 因 此 语义 相近 的 词 往往 具有 
相似 的 上 下 文 ， 这 就 是 分 布 式 语义 假设 的 思想 
(Harris, 1954; Lenci, 2018)。 基 于 这 种 思想 ,分 布 
表示 将 一 个 词 与 上 下 文 其 他 词 的 共同 出 现 情况 
(简称 共 现 ，co-occurrence) 视 为 这 个 词 的 分 布 结构 


1 大 部 分 情况 下 ,“ 词 嵌入 ”和 “ 词 向 量 " 可 以 互 换 使 用 不过， 
“ 词 租 入 ”侧重 于 技术 思想 ， 即 浓缩 语义 信息 并 将 其 映射 到 
低 维 癌 量 空 间 , 通常 也 指 词 姐 入 矩阵 ; 而 “ 词 向 量 ” 侧 重 于 
具体 数据 ， 也 泛 指 采用 词 租 入 以 外 的 方法 得 到 的 向 量 ， 比 
如 本 文 1.1 fpa dA. Abdo. p Xe AC 
(token embedding) 中 ， 词 /标记 (tokem) 是 基本 的 语义 单元 ， 
不 仅 指 单 词 , 还 包括 字 、 子 词 (subword) 及 其 他 标记 信息 。 


(distributional structure)， 然 后 使 用 统计 方法 对 共 
现 和 矩阵 进行 降 维 ， 最 后 得 到 相对 低 维 、 笛 密 的 词 
向 量 ( 表 1)。 分 布 表示 有 两 种 具体 的 降 维 方法 。 一 
种 方法 是 潜在 语义 分 析 (Latent Semantic Analysis, 
LSA), 利用 奇异 值 分 解 实现 共 现 矩阵 降 维 ,每 个 
维度 反映 词 的 一 种 独立 的 潜在 语义 特征 (Landauer 
& Dumais, 1997)。 男 一 种 方法 是 基于 潜在 狄 利 克 
雷 分 配 (Latent Dirichlet Allocation, LDA) 的 主题 模 
型 (Topic ModeD)， 利 用 概率 分 布 和 贝 叶 斯 统计 提 
取出 文本 主题 ， 每 个 维度 反映 词 在 相应 主题 上 的 
出 现 概率 (Blei et al., 2003; Griffiths et al., 2007). 

然而 ， 独 热 表 示 和 分 布 表示 在 大 规模 语 料 中 
的 训练 速度 和 效果 都 欠 佳 ,并且 独 热 表 示 无 法 利 
用 上 下 文 信息 ， 分 布 表示 在 利用 上 下 文 方面 效果 
也 不 够 理想 (车 万 翔 等 , 2021)。 为 了 解决 这 些 问 
题 ， 受 到 神经 概率 语言 模型 (Neural Probabilistic 
Language Model; Bengio et al., 2003) 的 启发 ， 研 究 
者 提出 了 词 舰 人 表示 , 这 是 本 文 讨论 的 核心 。 

HriB ^H A” (embedding), 是 指 在 尽 可 能 保留 
原 有 语义 距离 的 前 提 下 ,将 复杂 语义 信息 直接 映 
射 到 低 维 向 量 空间 。 词 舱 入 的 理论 基础 仍 为 分 布 
式 语义 假设 (Harris, 1954; Lenci, 2018), 与 分 布 表 
示 (LSA、LDA) 的 差异 在 于 向 量 赋值 方式 : eI SCAN 
的 降 维 是 通过 机 带 学 习 算 法 (一 般 采 用 神经 网 络 
算法 ) 训 练 模型 来 预测 词 与 上 下 文 的 共 现 关系 , 进 
而 直接 获得 低 维 .稠密 的 词 向 量 ( 常 见 的 有 300 维 ， 
也 可 根据 需要 确定 维 数 )。 词 舱 和 表征 的 语义 并 不 
是 具象 的 语义 解释 ， 而 是 算法 从 人 们 的 自然 语言 
中 自动 学 习 的 抽象 的 语 用 规律 ， 其 维度 数值 本 质 
上 是 神经 网 络 模 型 的 权重 (weights) 或 通过 模型 估 
计 得 到 的 参数 (类 似 于 回归 系数 ), 一 定 程度 上 模 
拟 了 人 类 加 工 语言 时 大 脑 的 激活 模式 。 词 艇 人 对 
语义 向 量化 表征 的 示意 图 见 图 1。 

词 谍 入 向 量 可 分 为 两 类 : -KERANKA 
(static word embeddings)， 将 一 个 词 在 整个 语料库 
中 的 所 有 上 下 文 信息 都 聚合 、 压 缩 到 一 个 向 量 表 
示 中 ， 得 到 的 是 固定 的 、 不 随 词 汇 所 在 特定 语 境 
中 的 上 下 文 变化 的 词 向 量 , 算法 模型 包括 Word2Vec、 
GloVe, FastText 等 ; 53—2S 2a) 2S in] ti A (dynamic 
word embeddings), 也 称 上 下 文 相关 、 语 境 化 的 词 
fx A (contextualized word embeddings), 根据 提供 
的 上 下 文 语 境 得 到 每 个 词 在 特定 语 境 中 的 词 向 量 ， 
可 通过 ELMo, GPT, BERT 等 预 训练 语言 模型 生 


ay in SERRE 
hinaX Iv 合作 期 刊 


202303.09795v1 


chinaXiv 


ChinaXiv 合 作 期 刊 


第 6 期 BERE 等 : 基于 词 散 入 技术 的 心理 学 研究 : 方法 及 应 用 889 


表 1 常见 的 词 向 量 生 成 方法 和 模型 


方法 /模型 运算 处 理 对 象 向 量 生成 方法 维度 数值 含义 
(小 规模 语 料 ) (矩阵 降 维 ) (可 解释 ) 
在 语义 分 析 (LSA) 词 -文档 共 现 矩阵 奇异 值 分 解 (SVD) 独立 的 潜在 语义 特征 
: 题 模型 (Topic Model) 词 -文档 共 现 矩阵 潜在 狄 利克 雷 分 配 (LDA) 词 出 现 于 主题 的 概率 
— 词 内 入 表示 [提出 年 份 ] (大 规模 语 料 ) (训练 预测 (不 可 解释 ) 
iG AS tal ti A Be (不 随 上 下 文 变化 ) 
Word2Vec[2013] 词 ~ 上 下 文 局 部 窗口 浅 层 ( 单 层 ) 神 经 网 络 神经 网 络 隐 含 层 权 重 
- CBOW 子 模型 (根据 上 下 文 预 测 中 心 词 ) 一 
— SG/SGNS 子 模型 一 (根据 中 心 词 预测 上 下 文 ) 一 
GloVe[2014] 词 ~ 上 下 文 共 现 矩阵 加 权 最 小 二 乘 回归 避 归 和 迭代 求解 的 参数 
FastText[2016] 字符 级 n-gram fà 浅 层 ( 单 层 ) 神 经 网 络 神经 网 络 隐 含 层 权 重 
- CBOW 子 模型 一 (根据 上 下 文 预 测 中 心 词 ) 一 
- SG/SGNS 子 模型 一 (根据 中 心 词 预测 上 下 文 ) 一 
BATA GE BUR (上 下 文 相 关 ) 
ELMo[2018] 字符 级 文本 序列 卷 积 神经 网 络 + 双向 语言 模型 隐 含 层 输出 权重 组 合 
GPT[2018] 词 ~- 上 文 文本 序列 深层 单 向 转换 解码 器 隐 含 层 输出 权重 组 合 
BERT[2018] 子 词 文本 序列 深层 双向 转换 编码 器 隐 含 层 输出 权重 组 合 


iE: LSA = latent semantic analysis. SVD = singular value decomposition. LDA = latent Dirichlet allocation. CBOW = continuous 
bag-of-words. SGNS = skip-gram with negative sampling. GloVe = global vectors. ELMo = embeddings from language models. 
GPT = generative pre-trained transformer. BERT = bidirectional encoder representations from transformers. 


神经 网 络 包括 输入 层 、 隐 含 层 、 输 出 层 。 隐 含 层 一 般 有 多 个 节点 (“神经 元 ”),， BES PRS RAS Td RA — 


般 取 神经 网 络 前 半 部 分 ， 即 隐 含 层 的 输入 权重 矩阵 (input weight matrix), 作为 词 向 量 矩 阵 : 动态 词 般 入 模型 更 复杂 ， 每 个 词 


的 动态 词 向 量 是 对 该 词 上 下 文 语义 组 合 的 结果 ， | 慨 的 输出 权重 或 多 层 隐 仿 层 向 量 的 加 权 平均 ， 其 中 ， 


接近 输入 层 和 输出 层 的 隐 含 层 分 别 编码 了 更 多 语法 和 语义 信息 


e 
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图 1 on 


成 (车 万 翔 56,2021; 陈 萌 等 ,2021; Lake & 

os 2021)。 表 1 总 结 了 这 些 模 型 的 特点 (更 多 
站 绍 详 见 网 络 版 附录 的 补充 材料 1)。 研 究 者 一 般 

合用 在 大 规模 香料 上 得 到 了 预 训 练 、 可 表征 通用 
语义 知识 的 词 向 量 ( 见 网 络 版 附 表 S1)。 

12 ”表征 语义 共性 和 差异 : 词 向 量 的 线性 运算 


(车 万 翔 等 , 2021)。 


量化 表征 : 简化 示意 图 


一 种 常见 做 法 是 计算 语义 共性 或 语义 差异 的 向 量 
Am, B T E E 
sum) 或 相 减 后 的 向 量 差异 (vector difference); 
基于 词 向 量 的 线性 运算 , 我 们 可 以 得 到 词语 
差异 之 间 的 类 比 (word analogy)， 进 而 获得 可 解释 
的 语义 知识 (Mikolov et al., 2013)。 比 如 , 语义 差 


由 词 艇 入 技术 训练 得 到 的 词 向 量 浓缩 了 词 在 
上 下 文中 的 语 用 规律 ,一 定 程度 上 可 以 表征 人 类 
自然 语言 中 的 语义 知识 。 然 而 , 词 向 量 数值 的 含 
义 通 常 是 不 明确 的 , 我们 无 法 直接 从 向 量 数值 中 
获得 可 解释 的 语义 知识 。 为 了 获得 更 明确 的 含义 ， 


异类 比 可 以 体现 性 别 差 异 (king- queen ~ man 一 


”只 有 同一 个 语义 空间 (来 自 相 同 语料库 和 模型 ) 的 词 向 量 
才能 进行 线性 运算 , 并 且 需 要 进行 归 一 化 (normalization)， 
即 缩放 每 个 词 向 量 至 单位 长 度 1。 
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woman ), 语法 差异 类 比 可 以 体现 时 态 变化 ( work — 
working ~ play — playing )， 从 属 关系 类 比 可 以 体现 
国家 与 首都 的 关系 ( China - Beijing ~ Japan — Tokyo )。 

心理 学 研究 中 , 词 向 量 的 线性 运算 还 有 更 一 
般 的 用 途 。 比 如 , 人 研究 者 可 以 通过 计算 与 某 个 心 
理 概念 或 维度 有 关 的 近 、 反 义 词 的 词 癌 量 之 差 ， 
建立 这 个 概念 维度 两 极 的 坐标 系 ， 从 而 使 得 计算 
其 他 心理 概念 与 这 个 概念 间 的 语义 联系 成 为 可 能 
(Kozlowski et al., 2019); 研究 者 还 可 以 通过 计算 
一 系列 词 向 量 的 总 和 ， 获 得 这 些 词 的 语义 共性 ， 
以 此 表征 其 上 位 心理 概念 。 

1.3 测量 语义 关联 和 距离 : 词 向 量 的 联系 强度 

人 类 心理 的 表征 在 “头脑 内 ”很 多 时 候 表 现 为 
概念 与 概念 间 的 联系 ， 而 在 “头脑 外 ”的 自然 语言 
中 则 表现 为 词 与 词 之 间 的 语义 联系 。 因 此 ， 利 用 
自然 语言 中 词 与 词 之 间 的 联系 ,我 们 能 在 一 定 程 
度 上 探究 人 类 心理 特征 。 

AME b, 语义 联系 有 绝对 和 相对 之 分 , 计算 
方法 主要 有 三 种 : 直接 计算 词 向 量 的 绝对 余弦 相 
似 度 或 上 距 离 、 通 过 计算 两 组 词 向 量 间 的 余弦 相似 
RE PEAR AG A MTT SC WE (BR “tell tk ATK A 
测验 ”)、 通 过 计算 两 组 词 向 量 间 的 欧式 距离 之 差 
获得 相对 语义 距离 (统称 为 “相对 范 数 距 离 ”)。 下 面 
分 别 介绍 每 种 方法 及 其 优 缺 点 和 适用 范围 。 

1.3.1 ”余弦 相似 度 和 距离 

两 个 词 向 量 在 空间 中 夹 角 的 余弦 值 ， 即 余弦 
相似 度 (cosine similarity)， 可 以 衡量 两 个 词语 之 间 
的 语义 关联 性 (semantic relatedness)， 其 本 质 上 是 
这 两 个 词 的 语 用 或 上 下 文 特征 的 相似 性 (Lenci, 
2018)。 余 弦 相 似 度 取 值 范围 是 -1~1, 但 一 般 很 少 
有 负数 ; 与 之 相反 的 是 余弦 距离 (cosine distance; 

一 余弦 相似 度 )， 取 值 范围 是 0~2。 若 两 个 词 完 
全 相关 ， 则 向 量 夹 角 为 09, 余弦 相似 度 为 1, RIZ 
距离 为 0; 若 两 个 词 完 全 无 关 ， 则 向 量 夹 角 为 90。， 
余弦 相似 度 为 0, 余弦 距离 为 1。 

余弦 相似 度 绝 对 大 小 的 意义 并 不 总 是 明确 。 


?余弦 相似 度 的 计算 公式 : 

Y LGB) 

L4 Saa 

当 两 个 向 量 的 模 长 经 过 归 一 化 ,它们 的 欧 氏 距离 与 余弦 相 
似 度 或 距离 存在 固定 关系 : |A- B|- (20 -cos(4,B)) 


similarity( 4, B) = cos( A, B) = 


一 般 而 言 ， 近 义 词 的 相似 度 往 往 较 高 ,但 相似 度 
高 的 未 必 是 近义词 ， 也 可 能 是 反义词 (如 “喜欢 - 讨 
厌 ”)、 固 定 搭配 (如 “单反 -相机 ”)、 语 境 相 近 的 词 
(如 “键盘 -鼠标 ”) 等 ; 同 理 ， 相 似 度 低 的 也 未 必 是 
反义词 ， 而 只 是 两 个 毫 无 关联 的 词 ( 如 “心理 - 竣 
工 ”)。 可 见 ,， 词 相似 度 衡 量 的 是 语义 联系 的 绝对 值 ， 
既 不 必然 表示 联系 的 正 、 负 方向 ， 也 难以 直接 区 
分 同义词 和 反义词 。 所 以 在 实际 应 用 中 , 为 了 使 
词 相似 度 获 得 可 比较 的 参照 点 ， 研 究 者 一 般 计 算 
的 是 相对 的 词 相似 度 (或 距离 )。 
1.3.2 ig EE ER E IU BS (WEAT)^ 

心理 学 研究 中 , 为 了 运用 概念 间 的 相对 语义 
联系 来 衡量 人 们 的 心理 特征 , 研究 者 需要 选择 能 
代表 特定 人 群 的 语料库 和 由 此 训练 的 词 向 量 ， 然 
后 计算 词 的 相对 余弦 相似 度 。 这 种 分 析 方 法 强调 
目标 概念 和 属性 两 极 之 间 的 相对 语义 联系 ， 因 此 
后 来 被 统称 为 “ 词 钥 入 联系 测验 ”。5 

词 租 入 联系 测验 (Word Embedding Association 
Test，WEAT) 由 Caliskan 等 (2017) 首 次 提出 , 与 内 
隐 联 系 测验 (Implicit Association Test, IAT) 的 原理 
和 算法 类 似 , 但 结论 适用 范围 不 同 ,IAT 为 了 测量 
个 体 头 脑 中 的 概念 联系 , 使 用 快速 按键 分 类 任务 
测量 被 试 的 反应 时 ， 然 后 将 目标 概念 词 (如 花 - 虫 ) 
和 属性 词 (如 积极 -消极 ) 在 不 相 容 和 相 容 条 件 下 
的 反应 时 之 差 作为 态度 、 偏 见 、 刻 板 印象 等 心理 


“WEAT 计算 两 类 目标 概念 (如 X=1E, 二 虫 ) 和 两 类 属性 词 
(如 4= 积 极 , B= 消极 ) 的 相对 相似 度 。 首 先 计算 一 组 目标 词 (XY 
或 妨 中 的 某 个 具体 词 w 与 属性 4 和 B 的 词 相似 度 之 差 ， 作 
为 w 与 属性 两 极 的 相对 相似 度 ; 然后 计算 目标 概念 和 了 
与 该 属性 相似 度 的 差 值 ， 作 为 目标 和 属性 间 的 相对 联系 强 
度 。WEAT 的 计算 公式 : 
s(w, A, B) = mean,, , cos(w, a) — mean „p cos(w,b) 

s(X,Y,A,B)= mean <y s(x, A, B) — mean „y s( y, A, B) 
单 类 SC-WEAT 则 是 计算 单 类 目标 概念 的 每 个 词 和 两 类 属 
性 词 的 相似 度 均 值 差 异 ， 即 上 述 公式 的 第 一 步 。 
> WEAT 也 被 译 为 “ 词 租 和 人 联想 测验 ”( 吴 胜 涛 等 ,2020)。 
Association 本 身 有 “联系 ”和 “联想 ”两 种 含义 。 本 文 建议 此 
处 译 为 “联系 ”， 原 因 如 下 : (DEK LAT. 被 译 为 “内 隐 联 想 测 
验 ” 但 原始 译 者 和 多 位 学 者 已 将 Association 的 翻译 修正 
为 “联系 ”( 杨 紫 妖 等 , 2015); (2) 严 格 来 说 , WEAT 并 不 测量 
个 体 头 脑 内 的 联想 加 工 过 程 ， 而 是 测量 自然 语言 中 不 同 词 
语 之 间 的 语义 联系 (Caliskan et al., 2017)。 但 与 WEAT 不 同 ， 
本 文 2.3.1 节 介 绍 的 Divergent Association Task 中 的 
Association 译 为 “联想 ”更 合适 ， 因 为 该 测验 涉及 个 体 在 任 
务 中 的 自由 发 散 联 想 过 程 (Olson et al., 2021)。 
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特征 的 间接 测量 指标 (Greenwald et al., 1998; 杨 
ZU 等 , 2015)。WEAT 则 是 将 词 相 似 度 视 为 IAT 
中 的 反应 速度 ， 使 用 两 组 目标 词 和 两 组 属性 词 的 
词 相似 度 之 差 来 测量 目标 概念 词 和 属性 词 在 自然 
语言 中 的 相对 联系 强度 ， 并 且 可 以 使 用 4 值 衡量 
标准 化 效应 量 (Caliskan et al., 2017). 

同时 ， 为 了 考察 单 类 目标 概念 (如 职业 ) 与 两 
极 属性 (如 性 别 ) 的 联系 ，Caliskan 等 (2017) 还 提出 
了 词 艇 入 事实 联系 测验 (Word Embedding Factual 
Association Test，WEFAT， 后 来 被 称 为 单 类 
WEAT (Single-category WEAT, SC-WEAT; Toney- 
Wails & Caliskan, 2021)。 这 种 单 类 WEAT 和 单 类 
IAT (SC-IAT; Karpinski & Steinman, 2006) 类 似 , 允 
许 研究 者 只 考察 单个 目标 概念 而 无 需 找 到 与 之 相 
对 的 男 一 个 目标 概念 , 但 属性 词 仍 要 有 两 极 对 比 。 

WEAT 和 SC-WEAT 是 目前 在 心理 学 研究 中 
应 用 最 多 的 基于 词 向 量 的 概念 相对 联系 测量 
法 ,但 是 , 在 使 用 群体 大 规模 语 料 的 前 提 下 ， 其 测 
量 的 并 不 是 个 体 头 脑 中 的 概念 联系 ， 而 是 概念 联 
系 在 特定 时 空 下 的 某 个 语料库 中 的 一 种 外 化 表达 ， 
由 此 仅 能 推测 产生 语 料 的 相应 群体 的 心理 特点 。 
因此 , 虽然 WEAT AI LAT 的 结果 可 以 做 类 似 理解 ， 
比如 都 能 用 来 测量 刻板 印象 、 偏 见 等 , 但 WEAT 
反映 的 是 群体 水 平 的 概念 联系 , 而 IAT 测量 的 则 
是 个 体 水 平 的 概念 联系 。 
1.3.3 ”相对 范 数 ( 欧 氏 ) 距 离 (RND)' 

概念 间 的 相对 联系 还 可 以 通过 Garg 等 (2018) 
提出 的 相对 范 数 距离 (relative norm distance, RND) 
来 衡量 。 相对 范 数 距离 又 称 相对 欧 氏 距离 (relative 
Euclidean distance; Bhatia & Bhatia, 2021), 计算 


À 范 数 (norm) 是 线性 代数 的 术语 ， 表 示 向 量 在 空间 中 的 长 
度 ( 模 长 )， 此 处 指 L2 范 数 (欧式 范 数 )。 两 个 向 量 的 范 数 距 
离 表 示 它 们 差异 的 长 度 , 衡量 了 它们 在 空间 中 的 距离 ; 词 
向 量 的 范 数 距离 衡量 了 语义 距离 。 由 此 ， 相 对 范 数 距 离 
(RND) 计 算 目 标 概念 和 两 类 属性 词 的 相对 语义 距离 。 比 如 ， 
对 于 职业 (目标 概念 ) 和 性 别 (属性 ) 的 联系 , 首先 分 别 计算 男 
性 和 女性 所 有 词 的 平均 向 量 , 然后 计算 每 个 职业 的 词 向 量 
与 这 两 个 平均 向 量 的 欧 氏 距离 之 差 ， 即 单个 职业 的 RND, 
最 后 计算 所 有 职业 RND 之 和 。 结 果 若 为 负 值 (职业 和 男性 
词 向 量 的 欧式 距离 小 于 和 女性 词 向 量 的 欧式 距离 )， 则 说 明 
职业 与 男性 的 联系 比 女性 更 紧密 。RND 的 计算 公式 : 


relative norm distance(W, A, B) = 


) 


X dw —mean,., al = |» — mean, , b 
weW 


的 是 一 个 目标 词 ( 比 如 某 职业 ) 和 两 类 属性 词 (比如 
男性 和 女性 ) 的 词 向 量 欧式 距离 之 差 。 

RND 与 SC-WEAT 类 似 ,都 用 于 衡量 单 类 别 
目标 概念 与 一 对 属性 的 相对 联系 ， 只 是 解释 的 方 
向 相反 。SC-WEAT 数值 表示 相对 语义 相似 度 ， 因 
此 数值 越 大 表示 概念 相对 联系 越 紧 密 ; 而 RND 数 
值 表示 相对 语义 距离 ,因此 数值 越 小 表示 概念 相 
对 联系 越 紧密 。 二 者 算法 上 的 区 别 对 结果 的 实际 
影响 不 大 , 人 研究 者 可 根据 实际 需求 选用 其 中 一 种 
指标 。 

总 之 , 根据 词 舱 入 技术 对 词汇 语义 的 表征 ， 
人 研究 者 可 以 较 好 地 量化 文本 中 的 语义 信息 。 具 体 
地 ,研究 者 不 仅 能 通过 词 向 量 的 线性 运算 获得 语 
义 共性 或 差异 的 表征 ,而且 能 通过 计算 余弦 相似 
度 、 欧 氏 上 距离 、 基 于 余弦 相似 度 的 WEAT 与 SC- 
WEAT、 基 于 欧 氏 距离 的 RND 等 方法 衡量 概念 间 
的 语义 联系 。 利 用 这 些 前 沿 技 术 和 方法 ,人 研究 者 
就 能 通过 自然 语言 来 量化 并 探究 人 类 的 心理 和 行 
为 规律 。 

2 ”基于 词 嵌入 技术 的 心理 学 研究 


自从 Mikolov “#(2013) Er UC HEH ia] KA BK, 
特别 是 Caliskan “$(2017) B Vois] trc A BEAR JW Hd 
于 社会 科学 领域 以 来 , 基于 词 艇 入 的 心理 学 研究 
在 短 短 几 年 内 大 量 涌现 , 内 容 涉及 心理 语言 学 、 决 
策 判 断 、 心 理 健康 、 社 会 认 知 、 人 格 心理 、 道 德 
心理 、 政 治 心理 、 文 化 心理 等 众多 心理 学 领域 。 而 
与 这 些 研究 有 关 的 一 项 基础 工作 是 利用 词 向 量 相 
似 度 来 辅助 构建 合理 、 有 效 的 心理 概念 词 表 。 因 此 ， 
下 面 将 首先 介绍 词 戏 入 在 词 表 构 建 方面 的 应 用 。 
21 构建 心理 词 表 : 研究 的 基础 工作 

词 向 量 首先 可 以 用 来 构建 心理 概念 词 表 , 包 
括 使 用 词 相似 度 评 估 词 表 的 信 效 度 、 扩 充 近 义 词 
等 。 例 如 , 一 项 研究 在 构建 刻板 印象 内 容 (stereotype 
content) 词 表 时 , 使 用 词 向 量 计算 了 每 两 个 词 的 相 
WE, 发现 同一 维度 内 的 词 相似 度 高 于 不 同 维度 
间 的 词 相似 度 ， 以 此 验证 了 词 表 的 内 部 一 致 性 信 
度 和 区 分 效 度 (Nicolas et al., 2021)。 还 有 研究 者 借 
助词 相似 度 为 初步 构建 的 词 表 扩充 近义词 ， 并 结 
合 专家 评估 进一步 确定 复杂 概念 的 词 表 ， 比 如 文 
化 松紧 性 (tightness-looseness; Jackson et al., 2019)、 
本 真性 (authenticity; Le et al., 2021) 等 。 此 外 ， 基 于 
预 训练 语言 模型 ， 清 华 大 学 的 研究 团队 开发 了 
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WantWords 反 向 词典 平台 (https://wantwords.neb， 
可 以 帮助 研究 者 根据 定义 、 词 性 、 字 数 、 包 含 的 
字 词 等 方面 精准 查找 近义词 。 总 之 , 利用 词 相 似 
度 辅助 构建 词 表 , 能 避免 人 工 选 词 过 程 中 可 能 存 
在 的 主观 偏差 .提高 词 表 的 规模 、 信 和 度 、 效 度 和 
代表 性 ， 最 终 增强 研究 的 客观 性 和 可 靠 性 。 

EFK, 我 们 以 “语义 ”作为 逻辑 线索 ,将 词 
般 入 技术 在 心理 学 研究 中 的 具体 应 用 分 两 类 介 
绍 : 基于 语义 表征 的 研究 和 基于 语义 关联 的 研究 。 
2.2 ”基于 语义 表征 的 研究 
2.2.1 帮助 探究 人 类 语义 加 工 的 脑 活动 

词 向 量 作为 计算 机 对 语义 的 向 量化 表征 ， 能 
用 来 帮助 考察 人 类 语义 加 工 的 脑 活动 。 具 体 来 说 ， 
在 使 用 神经 影像 测量 仪器 (如 功能 性 磁 共 振 fMRI) 
记录 被 试 大 脑 活 动 的 基础 上 , 研究 者 可 以 构建 词 
向 量 与 相应 的 词 诱发 的 大 脑 神经 活动 之 间 的 映射 
关系 模型 ( 词 的 神经 响应 模型 )， 进 而 预测 大 脑 对 
其 他 词汇 语义 和 语义 关系 加 工 的 特异 性 脑 活动 。 
例如 ， 一 项 发 表 于 Nature 的 研究 使 用 fMRI 记录 
被 试听 故事 时 的 脑 活动 ,在 分 析 时 对 实验 材料 的 
每 个 词 分 别 构建 其 与 一 系列 基础 词汇 在 既 有 语 料 
库 中 的 共 现 频次 ， 以 此 作为 词 向 量 ， 进 而 构建 每 


ES 


个 故事 在 这 些 维度 上 的 语义 向 量 的 时 间 序 列 和 矩阵 ; 


然后 利用 机 器 学 习 ， 发 现 基 于 这 种 语义 向 量 构建 
的 神经 响应 模型 能 有 效 预 测 额 叶 、 显 叶 等 脑 区 的 
激活 , 说明 这 两 个 脑 区 在 语义 表征 中 具有 重要 作 
用 (Huth et al., 2016)。 与 之 方法 类 似 ,， 男 一 项 研究 
使 用 每 对 词 的 词 向 量 之 差 表 示 其 语义 关系 (如 “ 手 
-手指 "反映 了 从 整体 到 部 分 的 语义 关系 )， 结果 发 
现 基于 这 种 语义 关系 向 量 构建 的 机 器 学 习 模 型 也 
能 预测 特定 脑 区 的 激活 (Zhang et al., 2020)。 
2.2.2 ”预测 人 们 对 特定 事物 的 认 知 判断 

词 向 量 在 探究 人 类 认 知 加 工 方面 的 应 用 还 可 
以 拓展 到 更 复杂 的 形式 。 基 于 词 向 量 原始 值 构建 


的 机 器 学 习 模 型 能 预测 人 们 的 各 类 认 知 判断 结果 ， 


从 而 可 以 对 人 类 的 复杂 认 知 判断 进行 更 准确 的 计 
算 建 模 (Bhatia et al., 2019)。 研 究 者 将 预 训练 的 词 
向 量 原始 值 作为 预测 变量 (每 个 维度 是 一 个 变量 )， 
将 人 们 对 不 同事 物 的 评价 作为 结果 变量 (单个 事 
物 获得 的 多 人 评价 平均 值 ), 使 用 岭 回 归 (ridge 
regression) 等 算法 构建 机 器 学 习 模 型 ,进而 预测 
人 们 对 公众 人 物 和 其 他 事物 的 认 知 评价 。 例 如 ， 
一 项 研究 通过 建立 岭 回 归 模 型 ， 把 公众 人 物 名 字 


的 词 向 量 作为 预测 变量 ,把 这 些 人 物 被 人 们 评价 
的 领导 力作 为 结果 变量 ,发 现 模 型 可 以 根据 人 名 
词 向 量 预测 人 们 感知 到 的 领导 力 (Bhatia et al., 
2022)。 基 于 这 类 模型 ,研究 者 还 可 以 根据 事物 名 
词 的 词 向 量 预测 人 们 对 风险 源 (Bhatia, 2019a)、 食 
品 健康 程度 (Gandhi et al.，2022)、 身 体 健康 状态 
(Aka & Bhatia, 2022), 、 食 物 热量 和 婴儿 死亡 率 
(Zou & Bhatia, 2021) 的 认 知 判断 ， 以 及 社会 认 知 、 
风险 感知 、 健 康 行为 、 组 织 行为 和 市 场 营销 等 领 
域 中 的 复杂 认 知 判断 (Richie et aL, 2019)。 这 些 研 
究 都 是 直接 利用 原始 词 向 量 中 的 语义 信息 ， 并 将 
其 用 于 建立 行为 预测 模型 。 

此 外 ,研究 者 基于 特征 属性 两 极 的 向 量 差 异 
构建 语义 特征 维度 (比如 大 小 、 安 全 -危险 程度 )， 
将 词 向 量 在 不 同 维 度 上 分 别 进行 语义 投影 (semantic 
projection)， 结 果 发 现 ， 经 过 语义 投影 的 词 向 量 在 
相应 维度 上 的 位 置 可 以 预测 人 类 对 这 些 事物 相应 
属性 的 判断 (Grand et al., 2022)。 这 种 方法 仿照 心 
理 量 表 的 形式 ， 利 用 词 能 人 对 语义 差异 的 表征 ， 
不 仅 实 现 了 对 事物 属性 的 自动 化 评估 ， 而 且 还 原 
了 蕴含 在 词 向 量 中 的 丰富 的 语义 信息 和 人 类 知识 。 
2.2.3 ”评估 个 体 的 情绪 和 心理 健康 

还 有 研究 将 原始 词 向 量 作 为 机 器 学 习 模 型 的 
输入 参数 ， 以 此 建立 预测 模型 ， 实 现 对 个 体 情绪 
和 心理 健康 状况 的 评估 。 例 如 ， 研 究 利 用 BERT 
模型 ,将 个 体 静 息 状 态 下 的 自发 思维 内 容 ( 句 子 ) 
转换 为 “片段 向 量 ” 然后 使 用 有 监督 的 深度 学 习 
来 训练 情绪 分 类 模型 ， 从 而 识别 个 体 自 发 思维 内 
容 的 情绪 类 型 (H.-X. Li et al., 2022)。 也 有 不 少 研 
究 沿 用 类 似 手段 ， 基 于 微 博 等 社交 平台 用 户 自发 
产生 的 文本 ,使 用 词 向 量 原始 值 和 机 器 学 习 模 型 
识别 个 体 的 心理 健康 状况 和 精神 障碍 ,包括 抑 
郁 、 焦 虑 、 压 力 、 自 杀 风 险 等 (Kalyan & Sangeetha, 
2020; Salas-Zárate et al., 2022)。 同时 ,在 词 向 量 基 
础 上 考虑 用 户 的 人 口 学 变量 和 微 博 行为 ( 王 查 等 ， 
2022)、 多 模 态 信息 (Lin et al., 2020) 等 ， 能 进一步 
提高 对 心理 症状 识别 的 准确 性 。 

2.3 ”基于 语义 关联 的 研究 

2.3.1 ”评估 和 探究 个 体 心理 

利用 词 向 量 相似 度 衡 量 的 语义 关联 ， 并 借助 
专门 设计 的 研究 范式 ， 研 究 者 可 以 评估 和 探究 前 
分 个 体 心 理 ， 目 前 主要 涉及 发 散 思 维 能 力 、 决 策 
倾向 等 。 
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首先 , 将 词 向 量 距离 指标 与 心理 测量 任务 相 
结合 ,人 研究 者 可 以 更 客观 地 评估 个 体 的 发 散 思 维 
( 远 距离 联想 ) 能 力 。 人 研究 者 提出 了 发 散 联想 任务 
(Divergent Association Task, DAT): 施 测 时 让 被 试 
思考 并 列 出 10 个 相互 尽 可 能 无 关 的 名 词 ; 然后 利 
用 预 训练 的 词 向 量 计算 这 些 词 两 两 之 间 的 余弦 距 
离 ; 这 种 根据 被 试 列举 的 若干 名 词 计 算 的 平均 语 
义 距离 可 以 反映 个 体 在 多 大 程度 上 能 想 出 距离 较 
远 的 事物 , 语义 距离 越 大 ， 则 说 明 个 体 的 发 散 思 
维 越 强 (Olson et al., 2021). 类似 地 ， 其 他 研究 者 也 
提出 了 利用 语义 距离 测量 发 散 思 维 的 方法 (Beaty 
& Johnson, 2021; Heinen & Johnson, 2018; Johnson 
et al., 2021)。 这 些 结合 词 向 量 语义 距离 的 测量 方 
法 弥补 了 创造 力 传统 测量 工具 的 局 限 : 一 方面 ， 
测量 无 需 依 赖 自 评 或 专家 评定 ， 避 免 了 主观 性 ; 
男 一 方面 ,实际 施 测 时 只 需要 请 被 试 自由 列举 一 
系列 词汇 并 由 此 计算 平均 语义 距离 ， 提 高 了 测 
量 的 便捷 性 ， 有 助 于 大 规模 施 测 。 

其 次 , 词 相 似 度 衡量 的 语义 关联 能 反映 个 体 
决策 中 的 联想 加 工 倾向 。 例 如 , 研究 者 在 多 种 决 
策 情境 中 比较 了 问题 文本 与 不 同 选 项 文本 间 的 语 
义 相 似 度 ， 结果 发 现 人 们 倾向 于 选择 与 题 干 语义 
最 相近 的 选项 (Bhatia, 2017a)。 使 用 类 似 方法 ， 研 
究 者 还 验证 了 决策 的 语义 聚集 效应 ， 即 个 体 在 选 
择 情 境 逐 一 给 出 回答 时 , 倾向 于 搜索 与 已 经 想到 
的 回答 语义 相近 的 答案 (Bhatia, 2019b)。 因 此 , i 
向 量 列 含 的 语义 关联 信息 有 助 于 研究 者 更 准确 地 
探究 个 体 的 决策 倾向 与 选择 偏好 。 

2.3.2 ”评估 和 探究 社会 心理 

现 有 的 词 向 量 通常 是 由 一 个 群体 产生 的 大 规 
模 文本 语 料 训练 出 来 的 ， 这些 文 本 可 能 蕴含 群体 
的 心理 特征 。 因 此 ， 基 于 词 向 量 (目前 主要 是 静态 
词 向 量 ) 计 算 的 语义 关联 , 包括 WEAT, RND 等 概 
念 相 对 联系 指标 ( 见 1.3 节 )， 可 专门 用 于 测量 群体 
的 心理 特征 ， 比 如 群体 的 社会 态度 、 刻 板 印象 、 
社会 偏见 、 道 德 偏差 、 文 化 心理 联系 等 ,以 及 上 
述 心 理 现象 的 产生 、 发 展 和 演变 。 

在 WEAT 提出 之 前 ，Bolukbasi 等 (2016) 发 现 
性 别 词 向 量 之 差 ( 如 “she-he”) 与 职业 词 向 量 之 差 
(如 “nurse-surgeon”) 的 余弦 相似 度 能 预测 人 工 评 
价 的 性 别 - 职 业 刻 板 印 象 。 受 其 启发 ，Caliskan 等 
(2017) 发 表 在 Science 的 研究 进一步 提出 了 WEAT 
和 SC-WEAT， 用 来 测量 群体 的 社会 认 知 ， 并 重复 


了 内 隐 社 会 认 知 领域 的 多 项 经 典 结 果 , 包括 花 一 
HRY Ba AS RE .乐器 -武器 内 隐 态 度 .内 隐 种 族 偏见 、 
内 隐 性 别 -职业 刻板 印象 、 内 隐 性 别 - 学 科 刻 板 印 
象 等 。 这 两 项 奠基 性 人 研究 迅速 激发 了 一 系列 研究 
直接 应 用 WEAT 或 类 似 方 法 测量 各 类 社会 认 知 ， 
例如 : 对 不 同 颜色 的 态度 和 性 别 - 颜 色 刻 板 印 象 
(Jonauskaite et al., 2021)、 对 不 同 职 业 和 国籍 群体 
的 人 格 特质 刻板 印象 (Agarwal et al., 2019)、 不 同 
语言 中 的 性 别 偏见 (Kurpicz-Briki & Leoni, 2021), 
法 律 文书 中 的 种 族 偏见 (Rice et al., 2019)、 新 闻 报 
纸 中 的 种 族 偏见 和 性 别 刻板 印象 (Bhatia, 2017b)、 

影 和 文学 作品 中 的 性 别 刻板 印象 (Xu et al., 
2019)、 人 类 集体 概念 (collective concept; PERSON/ 
PEOPLE) 的 性 别 偏 差 (Bailey et al., 2022) 、 群 际 态 
度 ( 评 价 ) 和 群 际 信念 (刻板 印象 ) 之 间 的 关系 (Kurdi 
et al., 2019, Study 3) 、 企 业 组 织 语 境 中 的 性 别 - 领 
导 力 刻板 印象 及 其 与 女性 领导 雇佣 比例 之 间 的 相 
互 影响 (Lawson et al., 2022)、 不 同 政治 倾向 或 党 派 
的 新 闻 媒体 对 政治 内 群体 的 积极 态度 偏差 和 对 政 
治 外 群体 的 消极 态度 偏差 (Rozado & al-Gharbi, 
2022) 等 。 

同时 , WEAT 和 SC-WEAT 还 被 用 于 探究 群体 
的 道德 偏差 。 一 项 研究 使 用 WEAT 考察 了 “自我 - 
他 人 ”目标 词 和 “道义 主义 -功利 主义 ”属性 词 的 相 
对 语义 联系 ,结果 发 现 自我 (vs. 他 人 ) 与 道义 (vs. 功 
利 ) 的 联系 更 紧密 , 说明 人 们 倾向 于 认为 别人 是 功 
利 而 非 道义 的 ,揭示 了 群体 层面 的 自我 -他 人 道 
德 偏 差 (M.-H. Li et al., 2021, Study 3)。 另 一 项 研究 
则 使 用 SC-WEAT 考察 了 “正义 * 单 类 目标 词 和 “ 自 
我 -他 人 ”属性 词 的 相对 语义 联系 , 结果 发 现 正义 
与 他 人 (vs. 自 我 ) 的 联系 更 紧密 ， 据 此 推测 正义 动 
机 可 能 存在 他 人 凸显 效应 ( 吴 胜 涛 等 , 2020)。 

此 外 ,类 似 方 法 还 能 用 于 分 析 公 众人 物 被 人 
们 感知 到 的 人 格 特质 。 一 项 研究 基于 公开 新 闻 语 
料 计 算 了 美国 前 总 统 候选 人 唐纳德 : 特 朗 普 
(Donald Trump) 和 和 希拉 里 :克林顿 (Hillary Clinton) 
的 人 名 向 量 与 各 种 人 格 特质 评价 (如 温暖 、 能 力 、 
道德 ) 词 向 量 的 相对 余弦 相似 度 ， 以 此 衡量 大 众 感 
知 到 的 二 人 的 人 格 特质 (Bhatia et al., 2018)。 这 类 
人 研究 可 以 在 非 接触 条 件 下 ,间接 测量 人 们 对 公众 
人 物 的 人 格 特质 的 感知 ， 从 而 弥补 传统 量 表 工具 
难以 用 于 公众 人 物 的 局 限 ， 也 有 助 于 探究 与 政治 
人 物 有 关 的 问题 。 
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除了 使 用 WEAT 等 方法 直接 测量 群体 层面 的 
社会 心理 特征 ,还 有 不 少 研究 进一步 探究 了 刻板 
印象 、 偏 见 等 社会 心理 现象 的 产生 、 发 展 和 变迁 。 

首先 , 关于 社会 认 知 的 产生 ,目前 有 两 项 研 
究 采 用 WEAT 测量 了 多 个 国家 的 社会 刻板 印象 或 
偏见 ， 发现 语 言 特征 可 能 会 塑造 和 加 深入 们 的 社 
会 认 知 。 其 中 , 一 项 研究 选取 25 种 语言 ， 发现 语 
言 中 的 性 别 - 职 业 刻 板 印象 WEAT 分 数 和 性 别 化 
职业 词 ( 如 waiter/waitress) 的 比例 均 能 正 向 预测 国 
家 层面 的 内 隐 性 别 - 职 业 刻 板 印象 IAT 结果， 说 明 
语言 可 能 会 塑造 内 隐 社 会 认 知 (Lewis & Lupyan, 
2020)。 男 一 项 研究 则 将 45 种 语言 分 为 性 别 化 语 
言 (gendered language; 名 词 、 动 词 和 形容 词 有 阴 
阳性 之 分 ， 如 法 语 、 西 班 牙 语 ) 和 无 性 别 语言 
(genderless language; 词语 不 区 分 阴阳 性 ， 如 汉 
语 、 英 语 、 芬 兰 语 )， 计 算 了 每 种 语言 的 性 别 偏见 
WEAT 分 数 , 结果 在 性 别 化 语言 中 发 现 了 更 大 的 
性 别 偏见 ,说 明 一 门 语言 的 语法 规则 可 能 会 加 深 
社会 偏见 (DeFranza et al., 2020)。 这 些 研究 利用 词 
租 入 的 方法 优势 和 多 语种 词 向 量 库 的 丰富 资源 ， 
巧妙 解决 了 此 前 难以 直接 回答 的 理论 问题 。 

其 次 , 关于 社会 认 知 的 发 展 ， 目 前 也 有 两 项 
研究 采用 WEAT 测量 并 追溯 了 性 别 刻板 印象 在 儿 
童 发 展 早期 的 表现 。 其 中 ,一 项 研究 收集 儿童 和 
成 人 语料库 并 训练 词 向 量 , 计算 了 性 别 刻板 印象 
的 WEAT 分 数 ， 结果 发 现 性 别 刻板 印象 存在 于 不 
同年 龄 的 语言 中 (Charlesworth et al., 2021)。 男 一 
项 研究 则 使 用 亲子 对 话语 料 库 , 计算 了 词汇 被 不 
同性 别 使 用 的 概率 、 词 汇 - 性 别 的 概念 联系 WEAT 
分 数 及 两 者 相关 ,结果 发 现 2-5 岁 儿 童 已 经 有 了 
性 别 化 的 语言 表达 (Prystawski et al., 2020)。 这 些 
研究 同样 利用 词 租 入 的 方法 优势 ， 巧妙 实现 了 对 
婴 幼儿 群体 的 心理 测量 。 

最 后 ， 基 于 语义 关联 的 历时 性 演变 ， 不 少 研 
究 利 用 词 向 量 探讨 了 社会 认 知 与 文化 心理 的 变 
迁 。 社 会 与 文化 变迁 是 近年 来 心理 学 、 社 会 学 的 
前 沿 研 究 热点 (化 华 俭 等 ，2020; 黄 梓 航 等 ， 
2018，2021)。 以 往 研 究 主要 是 利用 调查 数据 、 历 
史 档 案 数据 、 过 去 发 表 的 研究 数据 等 考察 某 个 心 
理 现 象 的 均值 或 水 平 的 变迁 ， 而 较 少 能 探讨 概念 
含义 或 概念 之 间 关 系 的 变迁 (化 华 俭 等 ，2023)。 
利用 跨 时 间 的 词 向 量 库 ， 为 每 个 年 代 或 年 份 分 别 
计算 语义 联系 指标 并 形成 时 间 序 列 ， 可 以 考察 社 


= 


会 态度 、 偏 见 、 刻 板 印 象 、 概 念 的 文化 含义 、 文 
化 与 心理 的 关系 等 方面 的 变迁 。 

现 有 研究 主要 使 用 了 HistWords 项 目 预 训练 
好 的 以 十 年 为 单位 的 词 向 量 库 (Hamilton et al., 
2016), 然后 为 每 个 年 代 分 别 计算 语义 关联 指标 
(如 WEAT 或 RND), 分 析 刻 板 印 象 与 偏见 的 变化 ; 
或 提取 出 每 个 年 代 与 目标 概念 (如 社会 群体 ) 联 系 
最 紧密 的 特质 词 ， 并 分 析 这 些 词 的 效 价 (积极 / 消 
极 ) 等 属性 的 变化 。 基 于 此 ， 研 究 者 揭示 了 : 美国 
社会 的 性 别 刻板 印象 和 种 族 刻板 印象 在 20 世纪 
逐渐 减弱 (Bhatia & Bhatia, 2021; Garg et al., 2018); 
社会 的 不 同属 性 维度 (如 贫 - 富 、 男 性 化 -女性 化 、 
道德 高 低 、 教 养 高 低 等 ) 及 不 同 维度 之 间 的 关系 在 
20 世纪 的 变化 (Kozlowski et al., 2019); 新 闻 媒 体 
对 种 族 外 群体 的 刻板 印象 内 容 从 2005 到 2015 年 
的 变化 (Kroon et al., 2021); 人 们 对 14 类 社会 群体 
(包括 不 同性 别 、 种 族 、 年 龄 、 体 型 和 社会 阶层 的 
群体 ) 的 刻板 印象 内 容 及 其 效 价 从 1800 到 2000 年 
的 变化 (Charlesworth et al., 2022); 道德 概念 .道德 
的 积极 -消极 效 价 和 道德 基础 维度 (如 关爱 -伤害 、 
公平 -欺骗 ) 从 1800 到 2000 年 的 变化 (Xie et al., 
2019)。 此 外 , 一 项 研究 利用 谷歌 图 书 和 《纽约 时 
报 》 语 料 库 ,分 别 使 用 词 频 分 析 、 人 情感 分 析 、 主 
题 模型 分 析 和 词 艇 和 分析 , 揭示 了 1800~2000 年 
风险 (risk) 概 念 的 词 频 在 上 升 ,情感 效 价 越 来 越 消 
T, 主题 从 战争 转向 疾病 , 语义 逐渐 趋 近 于 对 风 
险 的 规避 和 预防 (Y Li et al., 2020)。 而 关于 文化 心 
理 变 迁 ，Hamamura 等 (2021) 考 察 了 中 国 的 个 人 主 
义 / 集 体 主义 与 其 他 10 个 概念 (如 积极 、 消 极 、 成 
就 、 金 钱 、 休 闲 、 工 作 、 家 庭 等 ) 之 间 的 联系 从 1950 
到 2000 年 的 变化 ; 根据 对 其 结果 的 重新 分 析 和 正 
外 解读 ,个 人 主义 越 来 越 被 中 国人 接受 (态度 从 消 
极 变 为 中 性 )， 并 且 与 富裕 (而 非 贫穷 )、 体 闲 娱乐 
等 方面 的 联系 变 得 更 紧密 (Bao et al., 2022)。 
2.4 小 结 

总 之 ,由 大 规模 语 料 训练 出 来 的 词 向 量 不 
仅 表征 了 社会 文化 中 的 语义 信息 ， 而 且 列 含 了 
许多 人 类 心理 和 行为 信息 。 心 理学 研究 可 以 利用 
词 向 量 的 原始 值 (向 量 )、 线 性 运算 结果 、 绝 对 相 
似 度 或 距离 、 相 对 相似 度 或 距离 ， 考 察 列 含 在 词 
向 量 或 其 关系 背后 的 心理 和 行为 现象 及 其 规律 。 
A 2 总 结 了 这 些 应 用 形式 、 用 途 特 点 和 利用 的 语 
义 信息 。 
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#2 词 向 量 在 心理 学 研究 中 的 应 用 形式 、 用 途 特点 和 利用 的 语义 信息 
应 用 形式 具体 分 析 指标 m 利用 的 语义 信息 
词 向 量 
"- 作为 机 器 学 习 模 理 (比如 岭 回归 ) 的 输入 参数 ， 。 、， 
和 数值 向 量 nd 
FR 数值 向 量 预测 个 体 的 认 知 判断 、 大 脑 活动 等 FEE 
| | 作为 语义 共性 或 语义 差异 的 量化 表示 , 或 以 向 ， 
4 向 量 总 和 、 相 减 后 的 所 i 看 义 共性 和 差异 
amapak BEVERAGE 量 差异 建立 一 个 心理 概念 维度 两 极 的 从 标 系 ， occi ER 
cmd 计算 与 其 他 心理 概念 间 的 语义 联系 ^ 
词 向 量 的 美 系 
作为 词汇 或 概念 间 语 义 联系 的 直接 测量 指标 ，，、， 
4a BE "BE rhe EC Br 3 T Y € ul qe 
绝对 相似 度 AUE, KREN ee 语义 关联 或 距离 
词 嵌 入 联系 测验 (WEAT)、 音 类 ”作为 词汇 或 概念 间 语 义 联系 的 相对 测量 指标 ， 
相对 相似 度 。。” 词 嵌入 联系 测验 (SC-WEAT)、 相 “测量 复杂 概念 间 的 联系 ， 如 群体 的 社会 态度 、 偏 语义 关联 或 距离 
对 范 数 ( 欧 氏 ) 距 离 (RND) 见 、 刻 板 印象 、 文 化 与 心理 的 联系 等 
3 讨论 动 的 。 数 据 驱 动 部 分 的 词 向 量 训练 为 研究 提供 必 
需 的 语义 特征 向 量 ,， 理论 驱 动 部 分 的 问题 提出 和 


现代 科学 心理 学 始 于 1879 年 冯 特 在 德国 莱 
比 锡 大 学 建立 的 第 一 个 心理 学 实验 室 。 大 家 所 熟 
知 的 是 , 通过 建立 第 一 个 心理 学 实验 室 , 冯 特 为 
科学 研究 人 类 心理 与 行为 指明 了 一 个 基本 途径 ， 
即 通过 直接 观测 和 分 析 人 的 心理 与 行为 来 研究 其 
规律 ; 然而 不 太 为 大 家 所 知 的 是 , 冯 特 晚年 专注 
的 民族 心理 学 其 实 还 为 研究 人 类 心理 与 行为 指明 
了 另外 一 种 途径 ， 即 研究 包含 大 量 人 类 心理 与 行 
为 信息 的 各 种 产品 。 一 百 多 年 来 ,心理 学 的 绝 大 
多 数 研 究 都 是 基于 冯 特 开创 的 第 一 个 途径 开展 
的 。 近 年 来 ， 随 着 计算 机 、 人 工 智 能 和 自然 语言 
处 理 技术 的 突飞猛进 ， 通 过 文化 产品 和 自然 语言 
来 探索 人 类 心理 和 行为 规律 的 研究 开始 涌现 。 作 
为 自然 语言 处 理 的 关键 技术 ， 词 戏 入 近年 来 在 心 
理学 研究 中 得 到 了 越 来 越 多 的 应 用 。 为 了 促进 词 
般 入 在 中 国 心理 学 界 的 普及 和 应 用 ， AS SCE Te HX 
入 的 基本 方法 及 其 在 心理 学 领域 的 各 种 应 用 进行 
至 今 最 全 面 的 介绍 。 下 面 的 讨论 中 ,我 们 将 首 
先 总 结 该 方法 在 心理 学 中 应 用 的 基本 流程 ， 然 后 
分 析 其 优 缺 点 和 主要 问题 ， 最 后 试图 指明 重要 的 
未 来 研究 方向 。 
3.1 运用 词 能 入 方法 开展 心理 学 研究 的 基本 流程 

为 了 便于 大 家 更 好 地 掌握 词 舱 入 方法 在 心理 
学 研究 中 的 应 用 流程 ,根据 前 面 两 部 分 的 介绍 和 
整理 ,我们 构建 了 一 个 基于 词 嵌 和 的 心理 学 研究 
的 整体 框架 (图 2)。 从 图 2 可 以 看 出 , 总体 上 ， 基 
于 词 租 入 的 心理 学 研究 通常 是 数据 和 理论 共同 驱 


假设 推导 则 为 词 向 量 的 应 用 指明 方向 。 在 词 表 构 
建 过 程 中 ,数据 和 理论 都 不 可 或 缺 。 有 了 合理 的 
词 表 和 预 训练 好 的 词 向 量 , 研究 者 就 可 以 根据 研 
究 目 的 , 选取 恰当 的 词 向 量 分 析 指 标 来 开展 心理 
学 研究 , 包括 对 心理 和 行为 的 描述 和 预测 。 

3.2 ARAH EKRA 

与 传统 的 对 人 的 心理 和 行为 直接 观测 和 分 析 
的 方法 相 比 , 词 舱 入 方法 具有 多 方面 的 独特 优势 。 

第 一 , 人 研究 成 本 低 。 使 用 词 咀 入 方法 几乎 不 
需要 考虑 招募 被 试 的 成 本 ; 同时 ， 如 果 使 用 现成 
的 预 训练 好 的 词 向 量 库 ， 则 只 需要 一 台 普通 的 计 
算 机 即 可 完成 分 析 。 而 传统 的 行为 实验 、 问 卷 、 
访谈 等 都 需要 人 工 招募 被 试 ， 研 究 周 期 较 长 ， 被 
试 费 成 本 较 高 。 

第 二 , 样本 代表 性 高 。 词 向 量 通常 是 根据 大 
规模 文本 语 料 训练 的 (比如 Common Crawl 语料库 
履 盖 了 多 种 来 源 、 万 亿 级 规模 的 网 页 链接 ), 分 析 
结果 更 能 代表 人 群 总 体 。 而 传统 方法 中 , 样本 量 
一 般 比 较 有 限 ， 且 以 学 生 样 本 居多 ， 只 有 经 过 严 
格 、 系 统 的 抽样 才能 保证 样本 代表 性 。 

第 三 ， 分 析 客 观 性 强 。 词 向 量 是 通过 机 器 学 
习 算 法 自动 训练 而 来 的 ， 全 程 少 有 人 为 干预 ， 虽 
然 语 言 本 身 是 由 人 类 产生 的 , 但 对 语言 的 分 析 是 
量化 、 自 动 化 、 无 需 依 赖 人 类 主观 报告 的 ， 因 此 
分 析 过 程 具有 相对 客观 性 。 而 传统 基于 被 试 自我 
报告 的 方法 容易 受到 主观 性 、 社 会 赞许 性 和 反应 
遍 差 的 影响 。 


ay in VERB E 
hinaX Iv 合作 期 刊 


N 


ChinaXiv 合 作 期 刊 
896 心理 科学 进展 第 31 卷 
数据 驱动 理论 驱动 
大 规模 语料库 
。 多 语种 > 词 表 构建 < 一 一 一 一 学科 基础 理论 
。 跨 时 间 
[vemm 近义词 扩充 
词 向 量 预 训练 词 向 量 指标 选取 
。 静 态 词 向 量 。 词 向 量 原始 值 
—Word2Vec 。 线 性 运算 结果 
-GloVe “ 词 相似 度 心理 学 研究 问题 
-FastText ls iius 描述 。 描 述 心理 特征 
“动态 词 向 量 S p 预测 。 预 测 心理 规 和 
E Pun. ml” LTA 
-GPT 一 相对 指标 
-BERT —WEAT/SC-WEAT 
Pn -RND 
| i t 
y 
词 向 量 精 调 [一 > NLP 下 游 任务 & AI 应 用 产品 


图 2 ”基于 词 戏 和 人 技术 的 心理 学 研究 : 整体 框架 
第 四 ， 研 究 结 果 可 重复 。 如 果 研 究 者 使 用 相 的 特点 和 性 质 是 非常 关键 的 ,因为 这 在 很 大 程度 
同 的 语料库 、 预 训练 词 向 量 库 、 词 典 和 分 析 方 法 ， 上 决定 了 词 向 量 的 意义 和 结论 的 适用 范围 。 比 如 ， 
则 理论 上 可 以 获得 完全 一 致 的 结果 。 因 此 , 在 当 基于 新 闻 报 道 训 练 的 词 向 量 反 映 了 媒体 记者 的 语 


前 社会 科学 面临 可 重复 性 危机 的 背景 下 , FARA 用 特征 和 心理 特点 ， 而 基于 微 博 训练 的 词 向 量 
方法 具有 明显 优势 。 映 了 微 博 用 户 的 语 用 特征 和 心理 特点 。 词 向 量 只 
第 五 , 研究 主题 灵活 。 研 究 者 借助 词 疝 量 能 用 于 探究 对 应 群体 的 心理 ,不 能 推广 到 其 他 群 


可 以 分 析 任 意 词 语 或 概念 间 的 语义 联系 ， 从 而 可 体 ,因此 , 在 心理 学 研究 中 选取 词 向 量 数据 时 ， 要 
以 灵活 选取 研究 主题 。 如 果 要 纳入 更 多 的 词 ， 则 尽量 保证 语料库 来 源 与 研究 问题 相符 和 匹配 ， 否 


不 需要 重新 收集 数据 ， 只 需要 增加 相应 的 词 。 则 得 到 的 结论 未 必 正 确 。 

第 六 ,特别 适用 于 研究 某 些 特定 问题 。 虽 然 再 次 ，WEAT 、SC-WEAT RND 等 方法 一 般 
CC 对 于 一 些 研究 主题 (如 语义 加 工 脑 活动 ), dS CA 是 基于 群体 语 料 及 由 此 训练 的 词 向 量 , 在 此 情况 
r= 仅 起 到 辅助 作用 ,但 如 果 研 究 者 想 要 探究 横 跨 数 。” ”下 只 能 测量 群体 的 社会 认 知 ， 不 能 像 IAT 一 样 测 
S) 百年 的 社会 认 知 与 文化 变迁 , 或 考察 几 十 种 语言 量 个 体 的 社会 认 知 (Caliskan et al., 2017)。 从 某 种 

文化 中 的 社会 认 知 , 或 大 规模 快速 测量 个 体 的 发 意义 上 讲 , WEAT 等 前 沿 方法 和 IAT 等 传统 方法 是 

散 思 维 能 力 等 ， 则 词 舱 入 是 不 可 或 缺 的 方法 。 互补 的 ， 必 要 的 话 可 以 结合 起 来 使 用 (e.g.，Kurdi 

3.3. 词 能 入 方法 的 局 限 et al., 2019; M.-H. Li et al., 2021; Rheault & 
KEWAA BAILA MIME, bE Cochrane, 2020; Rozado & al-Gharbi, 2022). 

研究 者 仍 需 认 识 到 其 局 限 。 最 后 ,目前 基于 词 向 量 的 心理 测量 在 信 度 
首先 , 计算 机 算法 学 习 语 义 的 过 程 只 是 利用 (Du et al., 2021; Durrheim et al., 2023; Richie & 


词 共 现 信 息 估计 模型 参数 ， 与 人 类 习 得 语言 的 复 Bhatia, 2021) 和 效 度 (Joseph & Morgan, 2020; 
杂 过 程 相差 其 远 ， 因 此 词 癌 量 难以 对 语义 背后 深 Rodman, 2020) 方 面 仍 存 在 一 定 争议 。 为 了 增强 结 
层 的 心理 机 制 (如 动机 、 目 标 、 意 图 等 ) 进 行 表征 果 的 稳健 性 和 结论 的 说 服 力 , 研究 者 需要 构建 尽 
(Lake & Murphy，2021)， 也 难以 直接 反映 人 们 头 可 能 充足 、 全 面 的 近义词 表 ， 而 不 应 只 依赖 少量 
脑 内 的 主观 心理 过 程 。 关键 词 。 同 时 ， 对 于 同一 个 研究 问题 ， 研 究 者 可 以 

其 次 , 在 理解 词 向 量 时 , 语 料 及 其 产生 群体 将 词 般 入 方法 和 传统 文本 分 析 方 法 (如 词 频 分 析 、 


202303.09795v1 


chinaXiv 


ChinaXiv 合 作 期 刊 


第 6 期 BERE 等 : 基于 词 舱 入 技术 的 心理 学 研究 : 方法 及 应 用 897 


主题 模型 分 析 ) 结 合 起 来 ， 从 而 充分 挖掘 文本 中 蕴 
含 的 心理 规律 (Arseniev-Koehler et al., 2022; Y. Li 
et al., 2020)。 
3.4 ARA DEFAR HEE [n] 

虽然 词 般 入 方法 在 心理 学 研究 中 的 应 用 发 展 
迅猛 , 但 是 依然 存在 一 些 重要 的 基础 性 问题 。 下 
面 我 们 对 其 中 关注 度 比 较 高 的 三 个 问题 进行 分 析 
和 讨论 。 
3.4.1 如何 有 效 解 释 词 向 量 维度 ? 

在 大 部 分 词 冤 入 算法 中 , 词 向 量 的 维度 本 质 
上 是 神经 网 络 模型 的 隐 含 层 权 重 或 输出 权重 组 
合 。 因 此 , 词 向 量 对 语义 的 表征 是 抽象 的 ， 难 以 从 
语言 学 角度 解释 ， 也 难以 确定 每 个 维度 究竟 代表 
哪 种 语义 特征 。 为 了 增强 词 向 量 的 直观 性 ,研究 
者 往往 会 使 用 一 种 降 维 算法 :t 分 布 随机 近邻 借入 
(t-Distributed Stochastic Neighbor Embedding, 
t-SNE)。 词 向 量 和 常见 的 几 十 到 几 百 维 对 于 人 类 而 


结果 。 如 果 想 从 词 向 量 不 可 解释 的 维度 中 提取 出 
可 解释 的 语义 信息 ， 可 事先 确定 语义 维度 并 建立 
坐标 系 ， 然 后 计算 每 个 词 与 维度 两 极 的 相对 相似 
度 (Kozlowski et al.，2019) 或 进行 语义 投影 (Grand 
et al., 2022); 此 外 ,还 可 以 使 用 主 成 分 分 析 、 有 监 
督 的 机 器 学 习 等 方法 (Giinther et al., 2019; Utsumi, 
2020)。 
3.4.2. ”如 何 区 分 不 同 的 心理 特征 ? 

词 向 量 是 多 方面 因素 共同 作用 的 复杂 产物 ， 
因此 由 词 向 量 或 词 向 量 的 关系 指标 得 到 的 结果 可 
能 是 多 种 心理 特征 的 混合 ， 比 如 情绪 词 反映 的 情 
绪 可 能 是 理想 情感 (ideal affect) 和 实际 情感 (actual 
affect) 的 混合 (Tsai，2007)、 认 知 偏差 可 能 是 外 显 
(explicit) 和 内 隐 (implicit) 认 知 的 混合 (Greenwald 
et al., 1998)。 

具体 到 词 舱 入 人 研究, 虽然 自 Caliskan 等 (2017) 
基于 IAT 的 思想 提出 WEAT 和 SC-WEAT 以 来 , 大 


言 仍 属于 高 维 信息 ,而 t-SNE 算法 可 以 将 词 向 量 
筑 入 到 二 维 或 三 维 空间 , 同时 尽量 保留 原始 向 量 
空间 中 的 语义 距离 (Hinton & Salakhutdinov, 2006; 
van der Maaten & Hinton, 2008)。 图 3 举例 展示 了 
t-SNE 降 维 后 的 可 视 化 结果 。 可 见 ， 降 至 平面 的 词 
向 量 不 仅 较 好 地 保留 了 词汇 间 的 语义 距离 和 类 比 
KA, 而且 使 这 些 语义 关联 的 解释 更 直观 。 

然而 , t-SNE 维度 仍然 是 抽象 的 ， 不 表示 具体 
语义 ; WA CSNE 是 随机 过 程 ， 每 次 都 产生 不 同 


量 研 究 应 用 这 些 方 法 考察 了 文本 中 蕴含 的 社会 态 
度 、 偏 见 和 刻板 印象 , 但 目前 我 们 仍 不 清楚 WEAT 
测量 的 社会 认 知 是 外 显 的 、 内 隐 的 还 是 二 者 的 混 
合 产物 。 

为 了 区 分 WEAT 测量 中 的 外 显 和 内 隐 认 知 成 
分 , 研究 者 提出 了 一 种 可 能 的 解决 思路 :将 WEAT 
的 目标 词 分 为 概念 词 ( 如 “ 花 ”) 和 范例 词 (如 “ 政 
瑰 ”"、“ 郁 金 香 ”)， 而 态度 属性 词 保持 一 致 (如 积极 
消极 ); 然后 将 概念 词 与 属性 词 的 WEAT 分 数 作为 


词 向 量 的 t-SNE 降 维 可 视 化 


t-SNE 维 度 2 
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外 显 态度 ， 范 例 词 与 属性 词 的 WEAT 分 数 作为 内 
隐 态 度 (Wang et al, 2019; 薛 西 祥 ，2019)。 不 过 ， 
该 方法 只 区 分 了 目标 词 的 性 质 ， 而 且 概念 词 数 量 


ni 


可 能 不 足 5 个 (其 至 只 有 1 个 )， 远 小 于 范例 词 数量 ， 


容易 使 结果 不 稳定 。 本 文 认 为 ， 区 分 属性 词 的 性 
质 也 许 是 一 种 更 合适 的 解决 办 法 。 比 如 ， 对 于 积 
极 - 消 极 属性 ， 直 接 描述 态度 对 象 的 评价 性 词汇 
(如 “芳香 ”"、“ 了 恶臭”) 可 能 反映 外 显 态度 ， 而 间接 关 
联 的 非 评 价 性 词汇 (如 “健康 ”、“ 疾 病 ”) 可 能 反映 内 
BAS BE BAZ, 关于 如 何 有 效 区 分 词 向 量 概念 联 
系 指标 的 外 显 和 内 隐 成 分 ， 目 前 尚 无 充分 、 直 接 
的 实证 证 据 ， 未 来 需要 深入 探讨 。 

3.4.3 ”绝对 还 是 相对 的 词 相似 度 ? 

词 相似 度 指标 既 可 以 是 绝对 的 (如 余弦 相似 
HE. KRIER), 也 可 以 是 相对 的 (如 WEAT 、 
RND)。 在 研究 中 , 我 们 应 该 使 用 绝对 还 是 相对 指 
标 呢 ? 实际 上 ， 原 始 的 词 相 似 度 很 难 体现 其 效应 
大 小 ,目前 并 没有 关于 词 相似 度 大 小 的 明确 划 定 


大 部 分 研究 都 采用 相对 的 词 相似 度 (e.g.，Caliskan 
et al., 2017; Garg et al., 2018; Kozlowski et al., 
2019), 特别 是 ， 当 涉及 存在 效 价 或 极 性 的 概念 (如 
积极 -消极 ) 时 ， 如 果 不 区 分 而 将 其 混在 一 起 分 析 ， 
则 研究 结论 可 能 有 偏 误 (e.g., Hamamura et al., 2021)。 

由 于 词 相 似 度 无 法 区 分 反义词 , 研究 者 需要 
人 工 将 效 价 或 极 性 相反 的 词 (反义词 ) 明 确 区 分 开 
(Bao et al., 2022; Grand et al., 2022; Kozlowski 
et al., 2019; Lee et al., 2021; Nicolas et al., 2021). 
例如 , 道德 概念 中 的 积极 词 (<“ 善 ”的 方面 ) 和 消极 
词 ( 恶 ?的 方面 ) 构 成 了 道德 维度 两 极 ， 研 究 者 可 
以 将 近义词 、 反 义 词 的 词 向 量 配对 相 减 得 到 差异 
向 量 , 然后 以 此 为 基准 计算 单个 目标 词 向 量 与 该 
差异 向 量 的 相似 度 (Izzidien, 2022)。 相对 指标 更 少 
受到 共 变 因素 干扰 , 心理 学 含义 也 更 明确 。 例 如 ， 
一 项 研究 发 现 大 部 分 词 的 绝对 相似 度 都 存在 下 降 
趋势 ,作者 认为 一 种 可 能 的 原因 是 语言 复杂 性 的 
增加 (Hamamura et al., 2021); 但 是 , 词 的 相对 相 
似 度 没有 明显 的 整体 下 降 趋 势 (Bao et al., 2022)。 
3.5” 词 幅 入 心理 学 研究 的 未 来 展望 

词 租 入 作为 一 项 新 兴 的 自然 语言 处 理 技术 ， 
在 心理 学 研究 中 已 经 并 将 继续 展示 巨大 的 应 用 潜 
力 。 下 面 我 们 聚焦 三 个 号 待 未 来 研究 的 方向 。 其 
中 ,前 两 个 涉及 方法 , 第 三 个 涉及 实质 性 的 心理 


标准 ; 如 果 没 有 参照 点 ， 则 绝对 值 难以 解释 。 因 此 ， 


3.5.1 ”建立 细 粒 度 的 词 向 量 数据 库 ” 

虽然 目前 已 有 的 词 向 量 库 已 经 初步 划分 了 年 
代 和 语种 ( 见 附 表 S1), 但 为 了 探究 更 细 水 平 的 心 
理 规律 ， 比 如 将 年 代 细 化 至 年 份 , 或 将 语种 和 国 
家 细 化 至 同一 国家 内 部 的 不 同 地 区 ， 则 需要 额外 
WAAR AS AM HE (fine-grained) AY i5] [5] & 25085 o SE 
是 时 间 维 度 。HistWords 词 向 量 库 的 时 间 粒 度 仅 到 
年 代 ( 每 十 年 分 别 训练 的 词 向 量 )， 时 间 点 较 少 (中 
SC Hei) pq ee att $ 个 年 代 )， 难 以 满足 变迁 研究 的 
需求 ， 也 难以 在 其 中 应 用 时 间 序 列 分 析 方 法 ， 如 
格 兰 杰 因果 检验 ( 蔡 华 俭 等 , 2023), 同时 , HistWords 
项 目 仅 使 用 了 谷歌 图 书 语 料 ， 目 前 暂时 缺少 基于 
其 他 语 料 的 跨 时 间 词 向 量 库 。 为 了 克服 这 些 局 限 ， 
未 来 研究 有 必要 使 用 更 多 来 源 的 语 料 ， 如 《人 民 
日 报 入 《新 闻 联 播 入 微 博 等 ， 建 立 以 年 为 单位 的 
词 向 量 库 。 自 行 训 练 词 向 量 时 ， 可 采取 一 些 策略 
弥补 每 年 文本 量 的 不 足 ， 增强 年 度 词 向 量 数据 的 
稳健 性 :采用 三 年 滑动 窗 ( 某 年 及 前 后 各 一 年 ) 的 全 
部 文本 作为 该 年 的 文本 来 训练 词 向 量 ,， 相当 于 从 
源头 进行 平滑 化 (Garg et al., 2018; Lawson et al., 
2022)。 此 外 ,为 了 使 词 向 量具 有 路 时 间 可 比 性， 
即 解决 不 同时 期 向 量 空间 的 对 齐 问题 (alignment 
problem), 一 般 可 以 使 用 Schónemann (1966) 提 出 
的 正 交 普 鲁 克 (Orthogonal Procrustes) 和 矩阵 对 齐 方 
法 (Y. Li et al., 2020; Hamilton et al., 2016; Rodman, 
2020). 

男 一 个 需要 细 化 的 维度 是 空间 。 目 前 已 有 的 
词 向 量 库 几 乎 都 是 按 语言 划分 的 (e.g., Grave et al., 
2018; Hamilton et al., 2016), 缺少 一 个 国家 内 部 的 
州 /省 /市 /县 级 别 的 空间 细 粒 度 词 向 量 数据 ， 这 限 
制 了 词 向 量 在 探讨 文化 内 差异 方面 的 应 用 。 当 然 ， 
想 获 得 细 粒 度 的 词 向 量 , 合适 、 有 效 的 文本 语 料 


ER 


”自行 训练 词 向 量 也 存在 一 定 风 险 ， 需 要 特别 注意 以 下 问 
题 : (1) 由 较 小 规模 语 料 训练 得 到 的 词 向 量 可 能 缺乏 准确 性 
和 代表 性 ， 导 致 研究 结果 产生 偏差 。 目前 ， 尚 无 关于 语 料 规 
模 大 小 的 明确 要 求 , 但 基本 原则 是 语 料 越 充 足 ， 词 向 量 越 
可 靠 , 尤其 要 保证 语 料 中 有 足够 多 与 研究 问题 有 关 的 词 。 
(2) 对 于 中 文 词 向 量 的 训练 ， 需 要 事先 进行 中 文 分 词 ， 以 保 
证 后 续 结 果 的 准确 性 。 如 何 对 中 文 进 行 准确 分 词 是 一 个 重 
要 的 基础 技术 问题 。 研 究 者 可 以 选用 目前 较 成 熟 的 中 文 分 
iW TAL, 如 jieba、HanLP、 清 华 大 学 THULAC、 北 京 大 学 
pkuseg, 、 哈 工大 LTP 等 。 
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是 必 不 可 少 的 。 遗 憾 的 是 ， 目 前 大 部 分 可 获取 的 
语 料 , 包括 Common Crawl, ARRE., A/A 
度 百 科 、《 人 民 日 报 》 等 ， 都 无 法 获得 详细 的 地 区 
信息 。 不 过 ， 一 种 可 行 的 办 法 是 使 用 带 有 用 户 地 
区 标记 的 新 媒体 平台 (如 新 浪 微 博 ) 或 地 方 性 报纸 ， 
为 每 个 省 或 地 区 专门 训练 一 个 词 向 量 模 型 。 这 可 
能 需要 花费 大 量 时 间 和 资源 来 采集 数据 和 训练 模 
型 , 但 只 要 形成 规模 ,将 极 大 促进 跨 文化 心理 学 
研究 。 
35.2 ”应 用 动态 词 向 量 和 语言 模型 

X5 ib, MRR AR TRAM 
静态 发 展 到 动态 , 产生 了 很 多 大 型 预 训练 语言 模 
型 (车 万 翔 等 , 2021), 但 是 以 Word2Vec, GloVe, 
FastText 为 主 的 静态 词 向 量 仍然 是 现 有 心理 学 研 
究 的 主流 应 用 方式 。 静 态 词 向 量 将 一 个 词 在 语 料 
库 中 的 所 有 上 下 文 信息 都 压缩 到 一 个 向 量 表示 ; 
然而 ,词义 可 能 依 语 境 而 变 , 更 严谨 的 自然 语言 
分 析 需 要 考虑 动态 词 向 量 ( 即 考虑 语 境 的 影响 )。 

基于 动态 词 向 量 , Guo 和 Caliskan (2021) 提 出 
了 语 境 化 词 舱 入 联系 测验 (Contextualized Embedding 
Association Test, CEAT)。 通 过 从 研究 者 感 兴趣 的 
语料库 随机 抽取 较 大 数量 的 包含 目标 词 和 概念 词 
的 句子 ， 然 后 使 用 ELMo 、GPT BERT 模型 计算 
每 个 词 在 特定 句子 中 的 动态 词 向 量 ， 可 以 计算 语 
境 化 的 WEAT 分 数 并 得 到 其 分 布 ， 进 而 将 不 同 语 
境 (句子 ) 中 的 WEAT 分 数 视 为 效应 量 , 使 用 随机 
效应 元 分 析 汇 总 所 有 语 境 下 的 效应 量 (Guo & 
Caliskan, 2021)。 同 样 利 用 动态 词 向 量 , 一 项 最 新 
研究 在 自然 语言 中 重复 验证 了 大 五 人 格 结构 ， 发 
现 宜 人 性 、 外 倾 性 、 尽 责 性 是 得 到 较 好 重复 的 人 
格 特质 维度 ， 从 而 为 人 格 心理 学 的 词汇 学 假设 提 
供 了 新 证 据 (Cutler & Condon, 2023). 

未 来 研究 不 仅 要 突破 静态 词 向 量 的 局 限 并 利 
用 语 境 化 的 动态 词 向 量 , 还 要 尝试 打破 “向 量 ” 这 
种 形式 的 束缚 ,探索 直接 利用 GPT、BERT 等 大 型 
预 训 练 语言 模型 的 可 能 。 本 文 介绍 的 词 艇 入 向 量 
只 是 自然 语言 处 理 的 基石 而 非 全 貌 。 未 来 需要 开 
展 大 量 工作 ， 发 展 更 优 的 研究 方法 和 测量 工具 。 
3.5.3 ”开展 跨 时 间 和 跨 语种 的 研究 

利用 词 向 量 的 跨 时 间 变 化 和 跨 语种 差异 来 考 
察 社会 与 文化 心理 在 时 间 上 的 变迁 和 空间 上 的 差 
异 是 未 来 两 个 重要 的 具体 研究 方向 。 

在 跨 时 间 研 究 方 面 ， 以 往 研 究 主要 使 用 了 预 


训练 好 的 以 年 代为 单位 的 HistWords 词 向 量 库 
(Hamilton et al，2016) 或 自己 训练 的 以 年 份 为 单 
位 的 词 向 量 数据 (e.g., Lawson et al., 2022), 主题 
涉及 社会 偏见 与 刻板 印象 的 变迁 、 政 治 意识 形态 
的 变迁 、 文 化 及 其 心理 含义 的 变迁 等 。 国 内 还 有 
学 者 基于 历史 语料库 和 词 伐 入 技术 ,专门 开发 了 
用 于 研究 语义 演变 的 Macroscope 平台 (Y. Li et al., 
2019)。 鉴 于 社会 变迁 问题 的 重要 性 和 前 沿 性 (化 华 
俭 等 , 2020, 2023; 黄 梓 航 等 , 2018, 2021), 未 来 
人 研究 可 以 将 主题 拓展 至 自我 建构 、 社 会 动机 、 群 
际 关 系 、 消 费 需 求 、 环 境 态度 与 行为 等 方面 的 变 
迁 ， 也 可 以 将 时 间 范 围 追 溯 至 近代 以 前 ， 或 将 时 
间 粒 度 细 化 至 月 甚至 天 (取决 于 能 和 否 获得 相应 的 
文本 语 料 )。 此 外 ,新 近 研 究 发 现 ， 人 们 越 晚 习 得 
的 、 越 难 进行 认 知 加 工 的 词汇 越 容易 产生 历时 性 
的 语义 演变 (Y Li & Siew, 2022)。 因 此 ， 未 来 还 可 
以 继续 探究 人 类 对 语言 的 习 得 和 加 工 如 何 影响 和 
塑造 语义 演变 。 

在 跨 语种 研究 方面 ， 以 往 研究 同样 提供 了 优 
质 、 可 直接 使 用 的 多 语种 词 向 量 库 (Grave et al., 
2018)， 并 从 语言 的 社会 心理 属性 (比如 词语 是 否 
区 分 阴阳 性 ) 等 视角 考察 了 社会 偏见 等 现象 
(DeFranza et al., 2020), 或 从 文化 相似 性 、 历 史 相 
关 性 、 地 理 邻近 性 等 视角 考察 了 词义 表征 的 跨 语 
言 一 致 性 和 差异 性 (Thompson et al., 2020)。 未 来 
人 研究 应 突破 对 语言 本 身 的 关注 , 将 多 语种 词 向 量 
数据 与 国家 层面 社会 生态 数据 (包括 人 均 GDP、 人 
口 密度 、 气 候 条 件 、 农 耕 方式 等 ) 相 结合 ， 并 尝试 
利用 计量 经 济 学 方法 解决 因果 推断 问题 ,探索 可 
能 的 文化 心理 机 制 。 同 时 , 研究 也 要 关注 语种 和 
国家 之 间 的 对 应 问题 ,因为 使 用 同一 种 语言 的 国 
家 可 能 不 止 一 个 。 

最 后 ,我 们 想 指出 ， 虽 然 词 能 人 技术 最 初 源 
自 计 算 机 科学 领域 对 自然 语言 处 理 的 需要 ， 对 计 
算 编 程 有 一 定 的 要 求 , 但 是 近年 来 , 不 同 领域 的 
一 些 前 期 开拓 者 已 经 为 运用 词 朋 入 技术 开展 心理 学 
研究 做 了 大 量 技 术 准 备 , 极 大 降低 了 技术 门槛 ( 见 
补充 材料 2 和 附 表 S2). EP, 本文 第 一 作者 基于 
R 语言 为 心理 学 研究 者 专门 开发 了 一 个 免费 的 词 
和 骨 入 研究 综合 工具 包 :PsychWordVec (Bao, 2022). 
运用 PsychWordVec 包 ,每 一 位 具有 及 编程 基础 的 
心理 学 研究 者 都 能 很 快 掌握 词 向 量 数据 的 管理 与 
调用 、 词 相似 度 与 WEAT 等 指标 的 计算 和 统计 分 
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析 、 预 训练 语言 模型 的 调用 等 ， 从 而 为 自己 的 研 
究 服务 。 我 们 期 待 ， 越 来 越 多 的 国内 心理 学 研究 
者 能 及 时 了 解 词 能 入 这 一 前 治 方法 及 其 在 心理 学 
领域 的 广阔 应 用 前 景 ， 并 充分 利用 PsychWordVec 
等 集成 化 工具 包 , 将 词 艇 入 真正 “和 入 ”自己 的 研 
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Using word embeddings to investigate human psychology: 
Methods and applications 
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YANG Ying'?, ZHANG Guang-Yao'**, WANG Bo’, CAI Hua-Jian? 
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( Department of Psychology, University of Chinese Academy of Sciences, Beijing 100049, China) 
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Abstract: As a fundamental technique in natural language processing (NLP), word embedding quantifies a 
word as a low-dimensional, dense, and continuous numeric vector (i.e., word vector). Word embeddings can 
be obtained by using machine learning algorithms such as neural networks to predict the surrounding words 
given a word or vice versa (Word2Vec and FastText) or by predicting the probability of co-occurrence of 


multiple words (GloVe) in large-scale text corpora. Theoretically, the dimensions of a word vector reflect 
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the pattern of how the word can be predicted in contexts; however, they also connote Substantial semantic 
information of the word. Therefore, word embeddings can be used to analyze semantic meanings of text. In 
recent years, word embeddings have been increasingly applied to study human psychology, including human 
semantic processing, cognitive judgment, divergent thinking, social biases and stereotypes, and 
sociocultural changes at the societal or population level. Future research using word embeddings should (1) 
distinguish between implicit and explicit components of social cognition, (2) train fine-grained word vectors 
in terms of time and region to facilitate cross-temporal and cross-cultural research, and (3) apply 
contextualized word embeddings and large pre-trained language models such as GPT and BERT. To enhance 
the application of word embeddings in psychology, we have developed the R package “PsychWordVec”, an 
integrated word embedding toolkit for researchers to study human psychology in natural language. 

Keywords: natural language processing, word embedding, word vector, semantic representation, semantic 

relatedness, Word Embedding Association Test (WEAT) 
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附录 HR Sl 目前 已 有 的 静态 词 向 量 预 训 练 数据 库 及 其 使 
用 的 语料库 

补充 材料 1 词 向 量 的 训练 算法 和 模型 ees 
1. 静态 词 向 量 : Word2 Vec, GloVe, FastText 语料库 Word2Vec (SGNS) GloVe FastText 
训练 静态 词 向 量 的 基本 策略 是 : 将 大 规模 语 Lu 

料 的 词 共 现 信息 作为 机 器 学 习 的 自 监督 学 习 信 号 (Google News) 

(无 需 人 工 标 注 ), 利用 算法 预测 词 与 上 下 文 的 共 谷歌 图 书 \( 多 语种 、 分 年 代 ) 


现 关 系 。 这 种 关系 既 可 以 是 局 部 语 境 中 的 词 共 现 
情况 ,也 可 以 是 全 局 语 境 中 的 词 共 现 和 矩阵， 两 者 
分 别 对 应 了 Word2Vec 和 GloVe 这 两 种 算法 。 

Word2Vec 是 2013 年 由 Google 提出 的 , 包括 
两 种 模型 : (TD) 连 续 词 袋 (Continuous Bag-of-Words, 
CBOW) 模 型 ， 在 文本 中 从 头 至 尾 依次 取 同 等 大 小 
的 目标 窗口 (比如 大 小 为 2 的 窗口 包括 5 个 连续 的 
词 ), 采用 单 层 神经 网 络 , 根据 上 下 文 预测 中 心 词 ， 
得 到 的 词 向 量 为 神经 网 络 隐 含 层 权重 (一 般 取 输 
AILE); (2) 跳 词 (Skip-Gram，SG) 模 型 ， 同 样 取 一 
定 大 小 的 上 下 文 窗口 , 但 训练 任务 是 根据 中 心 词 
预测 上 下 文 其 他 词 (Mikolov, Chen et al., 2013). 后 
者 的 一 个 优化 方法 是 负 采 样 ， 即 负 采 样 跳 词 (Skip- 
Gram with Negative Sampling，SGNS) 模 型 : 对 于 
每 个 训练 样本 ,按照 一 定 概率 生成 负 样 本 (不 包含 
当前 窗口 内 词 的 样本 ) 用 于 分 类 训练 ， 以 提高 训练 
效率 和 语义 表征 效果 (Mikolov，Sutskever et al., 
2013). 

GloVe (Global Vectors) 是 2014 年 由 斯 坦 福 大 
学 提出 的 。 与 Word2Vec 仅 利 用 局 部 上 下 文 不 同 ， 
GloVe 是 预测 一 定 大 小 的 上 下 文 窗口 内 含有 全 局 
统计 信息 的 词 ~ 上 下 文 共 现 和 矩阵 ， 并 考虑 中 心 词 
和 上 下 文 其 他 词 的 位 置 距离 ,将 距离 更 近 的 词 赋 
予 更 大 权重 , 然后 进行 加 权 回 归 , 得 到 的 词 向 量 
为 回归 迭代 求解 的 参数 (Pennington et al., 2014). 
GloVe 既 利 用 了 全 局 的 词 共 现 统计 信息 ， 也 考虑 
了 局 部 上 下 文 语 境 中 词 与 词 之 间 的 位 置 距离 对 词 
共 现 的 影响 (Pennington et al., 2014)。 因 此 , GloVe 
能 更 好 地 反映 词 与 词 的 共 现 情况 。 

此 外 , 还 有 一 种 基于 Word2Vec 的 改进 算法 : 
FastText， 其 基本 架构 与 Word2Vec 相似 ,可 以 是 
CBOW 或 Skip-Gram 模型 ， 但 训练 对 象 不 只 是 单 
词 , 还 包括 由 子 词 (subword) 构 成 的 字符 级 n-gram, 
而 且 训 练 时 也 是 预测 n-gram 的 共 现 (Bojanowski 
et al., 2017; Joulin et al., 2016)。FastText 广泛 适用 
于 多 种 语言 (Bojanowski et al., 2017)。 


注 : 语料库 和 预 训练 算法 模型 是 相互 独立 的 ,， 表 中 列 出 昌 


(Google Books) 
美式 英语 历史 语 料 ”9( 分 年 代 ) 


(COHA) 
维基 百科 (多 语种 ) V VEW) 
(Wikipedia) 

JETE RI AR dh Y NER) 
(Common Crawl) 

新 闻 报 道 千 兆 语 料 y 

(Gigaword) 

Ti Fr (Twitter) Y 

百度 百科 VR) 
新 浪 微 博 VY( 汉 语 ) 

人 民 日 报 \( 汉 语 ) 

搜狗 新 闻 VY( 汉 语 ) 

知 乎 问答 VY( 汉 语 ) 

四 库 全 书 Y( 古 代 汉 语 ) 


aS 


是 目前 已 有 的 数据 ， RUE. Ma P SUB 
词 向 量 纯 文本 数据 后 ,可 使 用 RR 语言 PsychWordVec 包 将 其 
转换 为 RData 压缩 格式 ,以 便 在 RR 语言 中 调用 分 析 ,COHA 


= Corpus of Historical American English. 


Er 


下 载 地 址 : 

(1) Google 基于 Google News 训练 的 词 向 量 
(https://code.google.com/p/word2vec/); 

(2) 斯 坦 福 大 学 基于 Google Books 训练 的 跨 年 代 
(1800s~1990s)、 多 语种 (英语 、 法 语 、 德 语 、 汉 语 ) 词 向 量 
HistWords (Hamilton et al., 2016; 
https://nlp.stanford.edu/projects/histwords/); 

(3) 北 京师 范 大 学 基于 百度 百科 、 中 文 维基 百科 、 人 民 
日 报 、 新 闻 、 微 博 、 知 乎 、 文 学 作品 、 四 库 全 书 等 语料库 分 
别 训练 的 中 文 词 向 量 库 (https://github.com/Embedding/ 
Chinese-Word- Vectors); 

(4) GloVe 官方 基于 Wikipedia, Common Crawl, 
Gigaword, Twitter 等 大 规模 语料库 分 别 训练 的 英文 词 向 量 
库 (Pennington et al., 2014; https://nlp.stanford.edu/projects/ 
glove/); 

(5) FastText 官方 基于 Wikipedia 和 Common Crawl Xll 
模 语 料 库 训练 的 全 球 157 种 语言 的 词 向 量 库 (Grave et al., 


2018; https://fasttext.cc/docs/en/crawl-vectors.html) ; 


目前 ， 基 于 这 三 种 静态 词 向 量 训练 算法 ， 已 
经 有 一 系列 预 训练 好 的 静态 词 向 量 数据 可 供 研究 
者 直接 下 载 使 用 ( 见 附 表 S1)。 这 些 静 态 词 向 量 库 
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般 使 用 较 大 规模 的 训练 语 料 ， 因 此 词汇 量 较 大 
( 几 十 万 至 几 百 万 )， 能 覆盖 研究 需要 的 大 部 分 词汇 。 
然而 ， 对 于 未 出 现在 词 向 量 库 中 的 词 ， 我 们 无 法 获 
取 它 们 的 静态 词 向 量 。 为 了 根据 子 词 拼 接生 成 整 
词 的 向 量 表示 ,也 为 了 考虑 语 境 对 语义 的 影响 , 我 
们 需要 利用 预 训练 语言 模型 来 生成 动态 词 向 量 。 
2. 动态 词 向 量 和 预 训练 语言 模型 : ELMo, 
GPT. BERT 
为 了 完整 实现 自然 语言 的 理解 和 生成 ,需要 
使 模型 具备 语言 编码 和 解码 的 能 力 。 这 类 模型 通 
常 被 称 为 预 训练 语言 模型 (pre-trained language 
model), 已 不 再 是 简单 的 词 向 量 训练 模型 ,而 是 
具有 语言 综合 处 理 能 力 的 复杂 模型 ， 参数 量 更 庞 
K, 详细 原理 可 参阅 技术 文献 (车 万 翔 等 , 2021)。 
预 训 练 语言 模型 的 用 途 很 广 , 但 最 基本 的 用 途 之 
一 是 可 以 从 中 提取 语 境 化 、 动 态 的 词 向 量 ， 从 而 
解决 一 词 多 义 (polysemy) 问 题 , 使 语义 的 向 量化 
表征 更 准确 。 不 过 , 预 训 练 语言 模型 的 词汇 量 一 
般 较 小 (一 种 语言 可 能 只 有 几 万 的 词汇 量 )， 而 且 
词汇 有 更 多 属于 子 词 而 非 整 词 。 为 此 , 研究 者 一 
附 表 S2 
包 可 实现 的 预 训 练 算法 


m 


编程 语言 - 工 


般 可 通过 对 子 词 向 量 的 县 加 来 获得 词汇 表 以 外 
(out-of-vocabulary) 的 整 词 的 向 量 表示 。 

HAT, Hugging Face 平台 (https://huggingface. 
co/models) 已 公开 存储 了 万 余 种 预 训练 语言 模型 ， 
可 供 免费 下 载 使 用 。 语 言 模型 的 发 展 极其 迅速 ， 
从 最 初 的 ELMo (Embeddings from Language Models) 
动态 词 向 量 预 训练 模型 (Peters et al., 2018)， 到 后 
来 的 GPT (Generative Pre-trained Transformer) 生 
成 式 预 训练 模型 (Radford et al., 2018)， 以 及 BERT 
(Bidirectional Encoder Representations from Transformers) 
双向 编码 模型 (Devlin et al., 2018)， 再 到 BERT 的 
各 种 衍生 模型 (如 DistilBERT, ALBERT, RoBERTa , 
DistilRoBERTa, DeBERTa 等 )。 本 文 不 再 详细 介 
28, 读者 可 参阅 其 他 资料 (车 万 翔 等 , 2021)。 


补充 材料 2 ” 词 向 量 软件 工具 简介 

附 表 S2 总 结 了 MATLAB, Python 和 R 中 与 
词 向 量 有 关 的 工具 包 。 其 中 ,了 语言 PsychWordVec 
包 是 为 心理 学 专门 开发 的 词 租 入 研究 综合 工具 包 ， 
推荐 读者 使 用 (Bao, 2022)。 


词 向 量 相关 软件 工具 的 功能 简介 


其 他 功能 


MATLAB 
Text Analytics Toolbox Word2Vec 


文本 预 处 理 、 传 统 文本 分 析 ( 词 袋 模 型 、 潜 在 语义 分 析 LSA、 主 题 模 
型 LDA 等 )、 文 本 相似 度 计算 、 文 本 情感 分 析 、 词 云图 绘制 等 


Python 
gensim JÆ Word2Vec, FastText 文本 预 处 理 、 传 统 文本 分 析 ( 词 袋 模 型 、 港 在 语义 分 析 LSA、 主 题 模 
型 LDA 等 ) 
fasttext 库 FastText 有 监督 的 文本 分 类 
allennlp 库 ELMo 多 种 NLP 下 游 任 务 
openai 库 GPT 多 种 NLP 下 游 任务 


transformers 库 GPT, BERT 等 


R 
word2vec 包 Word2Vec 
text2vec 包 GloVe 
fastTextR 包 FastText 
wordsalad 包 Word2Vec, GloVe, 
FastText (整合 前 3 个 包 ) 
sweater 包 一 


PsychWordVec 包 
FastText (整合 上 述 R 包 ) 算 、 


调用 等 


Word2Vec, GloVe, 词 向 量 数 据 的 统一 管理 、 
WEAT (SC-WEAT) 与 RND 分 析 和 统计 检验 、 词 向 量 网 络 分 析 、 
不 同 词 眶 入 和 矩阵 的 正 交 对 齐 、 预 训练 语言 模型 (如 GPT 和 BERT) 的 


预 训练 语言 模型 的 调用 和 分 析 


分 词 预 处 理 、 潜 在 语义 分 析 LSA、 主 题 模型 LDA 


概念 联系 测量 (WEAT、RND 等 ) 的 统计 分 析 


词 向 量 可 视 化 和 t-SNE 降 维 、 词 相似 度 计 
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